基于视图空间和潜在扩散模型的 3D 感知图像合成方法，通过压缩潜在表示学习图像的 3D 结构，实现高质量的 3D-consistent 图像合成，无需多视角或 3D 几何的直接监督，不依赖于规范化的相机坐标。

Nov, 2023

LN3Diff 是一个新颖的框架，通过使用 3D 感知架构和变分自编码器将输入图像编码到结构化、紧凑和 3D 潜空间中，然后通过基于 Transformer 的解码器将潜空间解码为高容量的 3D 神经场，从而在 3D 生成、单目 3D 重建和有条件 3D 生成等各种数据集上展现出卓越的表现，并在推理速度方面超越了现有的 3D 扩散方法。

Mar, 2024

通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

Dec, 2021

提出了一种名为 NeuralField-LDM 的生成模型，它能够合成复杂的 3D 环境，并取得了比目前现有模型更显著的进步。该模型使用自动编码器训练场景图片，通过特征体素格点表示神经场，并进一步利用潜在自动编码器压缩、映射体素格点至潜在空间，并采用分层扩散模型完成 3D 场景生成管线。此外，展示了如何应用 NeuralField-LDM 在条件场景生成、场景修复和场景风格变化等 3D 内容创作应用领域。

Apr, 2023

我们介绍了一个新的生成模型，它将潜在扩散与持续同调相结合，以创建具有高多样性的 3D 形状，重点关注它们的拓扑特征。

Jan, 2024

本研究提出了一种基于几何潜变扩散模型（GeoLDM）的新方法，通过在潜空间中运行扩散模型来生成分子的三维几何结构。该方法对生成大分子的有效百分比有 7％的提升。

May, 2023

本文提出了一种新颖的潜在的 3D 扩散模型来生成神经体素场，旨在实现准确的部件感知结构。通过对现有方法的比较，我们采用了两个关键设计来确保高质量和准确的部件感知生成。一方面，我们引入了潜在的 3D 扩散过程来生成神经体素场，使其能够以显著更高的分辨率生成富有纹理和几何细节。另一方面，我们引入了部件感知的形状解码器，将部件代码整合到神经体素场中，引导准确的部件分解并产生高质量的渲染结果。通过广泛实验和与现有最先进方法的比较，我们对我们的方法在四种不同类别的数据上进行了评估。结果表明，我们提出的方法在部件感知形状生成方面具有优秀的生成能力，优于现有最先进方法。

May, 2024

本文提出了一种新颖的生成静态和关节 3D 资产的方法，其中核心是一个 3D 自解码器框架，将目标数据集中学习到的属性嵌入潜在空间，然后通过解码来渲染具有一致性的外观和几何体积表示；在不需要摄像头信息的情况下，通过学习来进行更加高效的训练，实现了在各种基准数据集和指标上超越同类别替代方法的影响力。

Jul, 2023

通过设计一种新颖的稀疏潜点扩散模型，将点云作为中间表示建模并控制生成的网格的整体结构和局部细节，以提高效率和可控性，实现了在生成质量和可控性方面与现有方法相比优越的网格生成。

Mar, 2023

从文本和图像生成高质量的 3D 模型一直是具有挑战性的，本文介绍了一种直接的 3D 生成模型 (Direct3D)，它可以缩放到野外输入图像，而不需要多视图扩散模型或 SDS 优化。我们的方法包括两个主要组成部分：一个直接的 3D 变分自动编码器 (D3D-VAE) 和一个直接的 3D 扩散变换器 (D3D-DiT)。D3D-VAE 将高分辨率的 3D 形状高效编码成紧凑连续的潜在三平面空间，而我们的方法通过半连续表面采样策略直接监督解码几何形状，与以往依赖渲染图像作为监督信号的方法不同。D3D-DiT 对编码的 3D 潜在分布进行建模，并特别设计以融合三个特征图的位置信息，从而实现了可扩展到大规模 3D 数据集的原生 3D 生成模型。此外，我们引入了一种创新的从图像到 3D 的生成流程，结合语义和像素级图像条件，使模型能够生成与提供的条件图像一致的 3D 模型。大量实验证明，我们大规模预训练的 Direct3D 相对于以前的图像到 3D 方法具有更好的生成质量和泛化能力，从而树立了 3D 内容创建的新的最先进水平。

May, 2024