本文提出了一种名为 Grounded-Dreamer 的有效两阶段方法，通过使用预训练的多视角扩散模型，在准确遵循复杂的、构成性的文本提示的同时实现高保真度，生成能够准确遵循复杂、构成性文本提示的 3D 资产。

Apr, 2024

通过检索辅助的方法，RetDream 解决了文本到 3D 生成中存在的 3D 几何不一致问题，并实现了几何一致性和生成场景的忠实度的显著改进。

Feb, 2024

通过定量评估指标、交叉验证人类评级以及分析 SDS 技术的失败案例，我们提出了一种新的计算效率基准模型，以解决生成模型中的艺术问题，包括 3D 模型准确性和文本提示之间的错位问题，并在所提出的评估指标上达到了最先进的性能。

Feb, 2024

以 Bidirectional Diffusion（BiDiff）为框架，同时整合 3D 和 2D 扩散过程，既保持了 3D 的真实性，又保留了 2D 纹理的丰富性，通过新颖的双向引导进一步提高一致性，将生成的过程从 3.4 小时减少到 20 分钟，以达到高质量、多样性和可伸缩性的 3D 生成。

Dec, 2023

通过分析分数蒸馏抽样（SDS）及其变体，我们发现其蒸馏抽样过程实际上对应于随机微分方程（SDE）的轨迹抽样，这启发我们提出了一种新颖有效的 “Consistent3D” 方法，该方法通过确定性抽样先验来进行文本到三维生成。实验结果表明，Consistent3D 在生成高保真度和多样性的三维物体和大规模场景方面具有很高的效能。

Jan, 2024

BoostDream 是一个高效的插件式 3D 细化方法，能够将粗糙的 3D 资产转化为高质量的 3D 资产，通过引入 3D 模型蒸馏、新颖的多视角 SDS 损失设计以及使用提示和多视角一致的法线图作为指导。与常规基于 SDS 方法相比，BoostDream 在生成高质量的 3D 资产方面表现出色，克服了双面问题，从而实现了 3D 生成过程的效率和质量的重大进展。

Jan, 2024

本文采用一种新方法，通过给定文本提示和 3D 网格来生成 3D 模型的纹理。该方法考虑了额外的深度信息，利用深度条件稳定扩散的评分蒸馏采样过程生成纹理。我们在开源数据集 Objaverse 上运行了模型，并进行了用户研究，与各种 3D 纹理方法的结果进行了比较。我们证明了我们的模型可以生成更令人满意的结果，并为同一对象产生各种艺术风格。此外，在生成可比质量的纹理时，我们取得了更快的时间。我们还进行了彻底的消融研究，研究了不同因素对生成质量的影响，包括采样步骤、引导尺度、负提示、数据增强、高度范围和替代 SDS 方法。

Nov, 2023

我们提出了一种新颖的方法，用于从多个图像中进行 3D 物体表面重建，其中只捕获了物体的一部分。我们的方法基于两个最新发展：使用神经辐射场进行表面重建，用于重建表面的可见部分，以及使用预训练的 2D 扩散模型的指导（SDS）完成未观察到的区域的形状。我们引入了三个组件：首先，建议使用法线图作为 SDS 的纯几何表示，而不是与外观信息交织在一起的颜色渲染。其次，我们在训练过程中使 SDS 噪声保持固定，这会导致更一致的梯度和更好的收敛性。第三，我们提出了多视角 SDS 作为一种在不对底层 2D 稳定扩散模型进行微调或更改的情况下对非可观察部分的生成进行条件化的方法。我们在 BlendedMVS 数据集上对我们的方法进行评估，结果显示相比竞争方法，我们取得了显著的定量和定性改进。

Dec, 2023

本文旨在通过文本描述生成 3D 网格材料。与现有方法合成纹理图不同，我们提出生成分段逐步建模材料图作为外观表示，支持高质量渲染并提供灵活的编辑。我们的方法通过预训练的 2D 扩散模型作为文本和材料图之间的桥梁，而不是依赖于大量的成对数据训练材料图生成模型。通过在生成的图像上初始化材料图参数，并通过可微分渲染模块进行微调，以符合文本描述。大量实验证明我们的框架在逼真度、分辨率和可编辑性方面的性能优于现有方法。

Apr, 2024

提出了一种基于姿态相关性蒸馏采样（PCDS）的扩散式三维生成任务的新目标，其通过最小采样步骤（1-3）建立了在扩散轨迹内的姿态相关性函数，以近似真实梯度，并通过粗到细的优化策略实现高质量的三维物体生成。

Jun, 2024