通过将预训练的二维扩散模型引入神经光辐射场（NeRFs），文本到三维生成方法取得了巨大的进展，其中许多最先进的方法通常使用得分蒸馏采样（SDS）来优化 NeRF 表示，该方法通过预训练的文本条件的二维扩散模型（例如 ImData）监督 NeRF 优化。然而，由这种预训练扩散模型提供的监督信号仅依赖于文本提示，并不限制多视角一致性。为了将跨视角一致性引入扩散先验中，一些最近的工作通过多视角数据微调二维扩散模型，但仍缺乏细粒度的视图连贯性。为了解决这个挑战，我们将多视角图像条件纳入 NeRF 优化的监督信号中，明确强制执行细粒度的视图一致性。通过这种更强的监督，我们提出的文本到三维方法有效地减轻了由于过高密度而产生的浮动点和由于密度不足而形成的完全空白空间。我们在 T$^3$Bench 数据集上的定量评估表明，我们的方法在现有的文本到三维方法中达到了最先进的性能。我们将公开发布代码。

Dec, 2023

本文研究基于 Text-to-Image 散射模型精调的神经放射场的 3D 建模问题。研究表明一些局限性的存在是方法本身优化和统一时间步骤采样之间的矛盾所造成的。提出通过使用单调非递增函数优先采样时间步长来解决这个矛盾，从而获得更高质量和多样性的 3D 模型。

Jun, 2023

本文提出了一种名为 Grounded-Dreamer 的有效两阶段方法，通过使用预训练的多视角扩散模型，在准确遵循复杂的、构成性的文本提示的同时实现高保真度，生成能够准确遵循复杂、构成性文本提示的 3D 资产。

Apr, 2024

本文提出了一种使用基于文本转图像的扩散模型进行文本到 3D 合成的方法，该方法绕过了需要大规模标记的 3D 数据集和能够去噪的 3D 数据的限制，将 2D 的扩散模型作为先验，通过梯度下降优化 3D 模型（Neural Radiance Field），并使用概率密度蒸馏引入的损失函数将 2D 扩散模型与 3D 模型相结合。这种方法不需要 3D 训练数据，也不需要修改图像扩散模型，证明了使用预训练的图像扩散模型作为先验的有效性。

Sep, 2022

BoostDream 是一个高效的插件式 3D 细化方法，能够将粗糙的 3D 资产转化为高质量的 3D 资产，通过引入 3D 模型蒸馏、新颖的多视角 SDS 损失设计以及使用提示和多视角一致的法线图作为指导。与常规基于 SDS 方法相比，BoostDream 在生成高质量的 3D 资产方面表现出色，克服了双面问题，从而实现了 3D 生成过程的效率和质量的重大进展。

Jan, 2024

通过 DreamControl 的两阶段 2D-lifting 框架，实现了在 3D 生成中解决几何不一致性的 Janus 问题，并生成出几何一致性和纹理保真度都很高的高质量 3D 内容。

Dec, 2023

在文本到 3D 生成领域，通过得分提取采样 (SDS) 使用的 2D 扩散模型经常导致模糊外观和多面几何等问题，本研究通过分析发现这些挑战的核心是 2D 扩散过程中噪声水平、扩散网络架构和 3D 模型表示之间的相互作用，在这些局限上，我们提出了 StableDreamer，它包含了三个新进展，通过此方法能够解决多面几何问题、生成高保真的 3D 模型并且稳定收敛。

Dec, 2023

通过引入一种新的二维扩散模型来生成由四个正交视图子图像组成的图像，从而利用正交视图图像引导生成高保真度的三维内容，并应用渐进式三维合成策略，显著提高了生成效率和质量，包括解决了 Janus 问题，并在定量和定性评估中证明了优越性。

Aug, 2023

本文提出了一种名为 Magic3D 的优化框架，利用低分辨率扩散先验和稀疏 3D 哈希格网结构，通过两阶段优化过程加速生成高质量 3D 网格模型，相对于 DreamFusion 优化用时减少一倍，同时也实现了更高分辨率的生成。用户调查表明，高达 61.7% 的用户更喜欢 Magic3D 模型。

Nov, 2022

本文提出了一种新的面向文本到三维立体生成的方法，即基于随机变量的粒子变分打分抽样，通过此方法在保证样本质量和多样性的同时避免了过饱和、过平滑和低多样性等问题，并在 NeRF 算法基础上生成了高保真渲染效果的三维网格。

May, 2023