ECCV 2024 | 南洋理工三维数字人生成新范式：结构扩散模型
该论文作者均来自于新加坡南洋理工大学 S-Lab 团队，包括博士后胡涛，博士生洪方舟，以及计算与数据学院刘子纬教授（《麻省理工科技评论》亚太地区 35 岁以下创新者）。S-Lab 近年来在顶级会议如 CVPR, ICCV, ECCV, NeurIPS, ICLR 上发表多篇 CV/CG/AIGC 相关的研究工作，和国内外知名高校、科研机构广泛开展合作。
三维数字人生成和编辑在数字孪生、元宇宙、游戏、全息通讯等领域有广泛应用。传统三维数字人制作往往费时耗力，近年来研究者提出基于三维生成对抗网络（3D GAN）从 2D 图像中学习三维数字人，极大提高了数字人制作效率。
这些方法往往在一维隐向量空间建模数字人，而一维隐向量无法表征人体的几何结构和语义信息，因此限制了其生成质量和编辑能力。
为了解决这一问题，来自新加坡南洋理工大学 S-Lab 团队提出结构化隐空间扩散模型（Structured Latent Diffusion Model）的三维数字人生成新范式 StructLDM。该范式包括三个关键设计：结构化的高维人体表征、结构化的自动解码器以及结构化的隐空间扩散模型。
StructLDM 是一个从图像、视频中学习的前馈三维生成模型（Feedforward 3D Generative Model），相比于已有 3D GAN 方法可生成高质量、多样化且视角一致的三维数字人，并支持不同层级的可控生成与编辑功能，如局部服装编辑、三维虚拟试衣等部位感知的编辑任务，且不依赖于特定的服装类型或遮罩条件，具有较高的适用性。
-
论文标题：StructLDM: Structured Latent Diffusion for 3D Human Generation
-
实验室主页：www.ntu.edu.sg/s-lab
3.3.3 编辑互联网图片
StructLDM 可对互联网图片进行编辑，首先通过 Inversion 技术得到对应的 UV latent，然后通过 UV latent 编辑可对生成的数字人进行编辑，如编辑鞋、上衣、裤子等。
3.4 消融实验
3.4.1 隐空间扩散
StructLDM 提出的隐空间扩散模型可用于不同编辑任务，如组合式生成。下图探究了扩散模型参数（如扩散步数和噪声尺度）对生成结果的影响。StructLDM 可通过控制扩散模型参数来提高生成效果。
3.4.2 一维与二维人体表征
研究者对比了一维与二维 latent 人体表征效果，发现二维 latent 可生成高频细节（如衣服纹理及面部表情），加入对抗式学习可同时提高图片质量和保真度。
3.4.3 结构感知的归一化
为提高扩散模型学习效率，StructLDM 提出了结构感知的 latent 归一化技术 （structure-aligned normalization），即对每个 latent 做逐像素归一化。研究发现，归一化后的 latent 分布更接近于高斯分布，以此更利于扩散模型的学习。