TL;DR本研究提出了一种新的 3D 人体生成模型 StructLDM，通过在高维潜空间中建模人体的语义结构和拓扑，从而实现可控的 3D 人体生成和编辑，包括姿势 / 视角 / 形状控制、合成生成、服装编辑和虚拟试穿等。
Abstract
Recent 3d human generative models have achieved remarkable progress by
learning 3D-aware GANs from 2D images. However, existing 3D human generative
methods model humans in a compact 1D latent space, ignoring the
提出了一种名为 NeuralField-LDM 的生成模型，它能够合成复杂的 3D 环境，并取得了比目前现有模型更显著的进步。该模型使用自动编码器训练场景图片，通过特征体素格点表示神经场，并进一步利用潜在自动编码器压缩、映射体素格点至潜在空间，并采用分层扩散模型完成 3D 场景生成管线。此外，展示了如何应用 NeuralField-LDM 在条件场景生成、场景修复和场景风格变化等 3D 内容创作应用领域。
LN3Diff 是一个新颖的框架，通过使用 3D 感知架构和变分自编码器将输入图像编码到结构化、紧凑和 3D 潜空间中，然后通过基于 Transformer 的解码器将潜空间解码为高容量的 3D 神经场，从而在 3D 生成、单目 3D 重建和有条件 3D 生成等各种数据集上展现出卓越的表现，并在推理速度方面超越了现有的 3D 扩散方法。