本文提出了一种新的方法，结合使用预训练的图像文本扩散模型和基于生成对抗网络的 3D 生成网络，用于生成高质量，风格化的 3D 头像，并在视觉质量和多样性方面优于现有最先进的方法。

May, 2023

通过结合文字和图像信息，利用扩散模型，我们开发了一种零样本的三维生成模型，能够合成高分辨率纹理网格，实现了将二维图像直接转化为三维空间的功能。

Aug, 2023

DATID-3D 是一种适用于 3D 生成模型的领域适应方法，采用文本到图像扩散模型，在不收集附加数据的情况下，将源领域的最先进 3D 生成器微调为文本引导的目标领域，从而实现高分辨率、多视角一致的图像合成，并提出并演示了多样的 3D 图像操作。

Nov, 2022

以 Bidirectional Diffusion（BiDiff）为框架，同时整合 3D 和 2D 扩散过程，既保持了 3D 的真实性，又保留了 2D 纹理的丰富性，通过新颖的双向引导进一步提高一致性，将生成的过程从 3.4 小时减少到 20 分钟，以达到高质量、多样性和可伸缩性的 3D 生成。

Dec, 2023

本文提出了一种使用基于文本转图像的扩散模型进行文本到 3D 合成的方法，该方法绕过了需要大规模标记的 3D 数据集和能够去噪的 3D 数据的限制，将 2D 的扩散模型作为先验，通过梯度下降优化 3D 模型（Neural Radiance Field），并使用概率密度蒸馏引入的损失函数将 2D 扩散模型与 3D 模型相结合。这种方法不需要 3D 训练数据，也不需要修改图像扩散模型，证明了使用预训练的图像扩散模型作为先验的有效性。

Sep, 2022

本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法，并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

Nov, 2022

本文提出了一种新的基于 3D 可塑模型（3DMM）的文本引导头部生成方法，利用扩散模型生成多视图一致性辐射场的同时更新几何和纹理以生成和文本描述一致的 3D 头部化身，以此在一定程度上提高 3D 头部生成的精度和多样性。

Jul, 2023

我们提出了一个两阶段的文本到 3D 生成系统，名为 3DTopia，它使用混合扩散先验在 5 分钟内生成高质量的通用 3D 资产。第一阶段直接从 3D 数据学习的 3D 扩散先验中采样，由文本条件的三视图潜在扩散模型提供动力，快速生成用于快速原型设计的粗糙 3D 样本。第二阶段利用 2D 扩散先验进一步优化第一阶段中粗糙 3D 模型的纹理。优化包括潜在空间和像素空间的优化，用于生成高质量的纹理。为了促进所提出系统的训练，我们通过结合视觉语言模型和大型语言模型清洗和加标最大的开源 3D 数据集 Objaverse。实验证据定性和定量地展示了所提出系统的性能。我们的代码和模型可在此 https 网址获得。

Mar, 2024

本文介绍了 PI3D，一个高效的框架，利用预训练的文本到图像扩散模型在几分钟内生成高质量的 3D 形状。通过将预训练的 2D 扩散模型微调为 3D 扩散模型，PI3D 具备了 3D 生成能力和源自 2D 模型的泛化能力，并利用 2D 扩散模型的分数蒸馏抽样快速提高采样的 3D 形状的质量。通过将知识迁移为一组伪图像，PI3D 实现了从图像到三视图生成的迁移。我们通过调整预训练模型中的模块，实现了使用伪图像和真实图像进行混合训练，这已被证明是一种提高泛化能力的有效策略。PI3D 的效率在于能够在几秒钟内采样多样性的 3D 模型，并在几分钟内对其进行改进。实验结果证实了 PI3D 相对于基于 3D 扩散模型或提升 2D 扩散模型的现有方法在快速生成一致且高质量的 3D 模型方面的优势。建议的 PI3D 是文本到 3D 生成领域的一个有前景的进展，我们希望它能激发更多关于利用 2D 和 3D 数据知识的 3D 生成研究。

Dec, 2023

通过利用 2D 扩散先验提高文本到 3D 内容生成的质量和细节，本文提出了一种结合多个噪声估计过程和预训练的 2D 扩散先验的新方法，实验证明该方法相较于基线能够生成更高质量的细节。

Jul, 2023