我们通过使用扩散先验来改进已有的文本生成 3D 模型的技术，提出了一种新的训练方法，并应用了深度监督和密度场正则化来提高几何表示和图像质量。实验结果表明我们的方法在提高真实感和多视角一致性方面优于现有技术。

May, 2023

通过使用两阶段的方法 —— 首先使用精调的 2D 文本到图像扩散模型一次性生成稀疏一致的四个结构化视图，然后利用一种新颖的基于 Transformer 的稀疏视图重构器直接回归生成的图像的 NeRF—— 我们提出了 Instant3D，一种新颖的方法，以前馈方式从文本提示中生成高质量、多样化的 3D 资产。通过大量实验证明，我们的方法可以在 20 秒内生成高质量、多样化且无 Janus 问题的 3D 资产，比之前需要 1 到 10 小时的基于优化的方法快两个数量级。

Nov, 2023

本文提出了一种使用基于文本转图像的扩散模型进行文本到 3D 合成的方法，该方法绕过了需要大规模标记的 3D 数据集和能够去噪的 3D 数据的限制，将 2D 的扩散模型作为先验，通过梯度下降优化 3D 模型（Neural Radiance Field），并使用概率密度蒸馏引入的损失函数将 2D 扩散模型与 3D 模型相结合。这种方法不需要 3D 训练数据，也不需要修改图像扩散模型，证明了使用预训练的图像扩散模型作为先验的有效性。

Sep, 2022

通过将预训练的二维扩散模型引入神经光辐射场（NeRFs），文本到三维生成方法取得了巨大的进展，其中许多最先进的方法通常使用得分蒸馏采样（SDS）来优化 NeRF 表示，该方法通过预训练的文本条件的二维扩散模型（例如 ImData）监督 NeRF 优化。然而，由这种预训练扩散模型提供的监督信号仅依赖于文本提示，并不限制多视角一致性。为了将跨视角一致性引入扩散先验中，一些最近的工作通过多视角数据微调二维扩散模型，但仍缺乏细粒度的视图连贯性。为了解决这个挑战，我们将多视角图像条件纳入 NeRF 优化的监督信号中，明确强制执行细粒度的视图一致性。通过这种更强的监督，我们提出的文本到三维方法有效地减轻了由于过高密度而产生的浮动点和由于密度不足而形成的完全空白空间。我们在 T$^3$Bench 数据集上的定量评估表明，我们的方法在现有的文本到三维方法中达到了最先进的性能。我们将公开发布代码。

Dec, 2023

Text2NeRF 是一种基于 NeRF 模型以自然语言描述为输入的 3D 场景生成方法，利用预训练的文本到图像扩散模型和单目深度估计方法约束 NeRF 模型以保持内容和几何一致，同时使用逐步场景修复和更新策略保证场景视角一致性。实验结果表明该方法能够生成高保真度，多视角一致性和多样性的真实感 3D 场景。

May, 2023

本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法，并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

Nov, 2022

本文研究基于 Text-to-Image 散射模型精调的神经放射场的 3D 建模问题。研究表明一些局限性的存在是方法本身优化和统一时间步骤采样之间的矛盾所造成的。提出通过使用单调非递增函数优先采样时间步长来解决这个矛盾，从而获得更高质量和多样性的 3D 模型。

Jun, 2023

利用多视角扩散模型作为 3D 优化的先验条件，缓解了零样本文本到 3D 模型中的 3D 一致性问题，如 Janus 面问题或内容漂移问题。然而，输出的 3D 几何保真度仍然是一个未解决的问题；尽管渲染的 2D 视图是逼真的，但其底层几何可能包含不合理的凹面。我们提出了一种有效的方法 CorrespondentDream，利用来自扩散 U-Net 的无注释交叉视图对应关系，为 NeRF 优化过程提供额外的 3D 先验。我们发现这些对应关系与人类感知力强烈一致，并通过采用它们在我们的损失设计中，能够生成与常识更一致的 NeRF 模型几何，例如更平滑的物体表面，从而提高 3D 保真度。通过各种比较性定性结果和扎实的用户研究，我们证明了我们方法的有效性。

Apr, 2024

通过引入 SDF backbon，扩展 NeRF 来进行 3D 模型生成，并通过新颖的方法对网格纹理进行微调以改善输出的细节。

Apr, 2023

我们引入了一种名为 DN2N 的文本驱动编辑方法，使用现成的基于文本的图像编辑模型修改 3D 场景图片，并提出了一种去除噪声扰动的训练数据生成方法，以及交叉视图正则化项来帮助泛化 NeRF 模型，实现了友好、直观和实用的用户编辑体验，并实现了多种编辑类型的效果。

Sep, 2023