大规模文本到图像扩散模型的最新进展在文本到三维生成领域取得了重大突破，仅通过给定的文本提示从零开始创作三维内容。然而，现有的文本到三维技术在创作过程中缺乏一项关键能力：根据用户的需求规范（如草图）对合成的三维内容进行交互式控制和塑造。为了解决这个问题，我们首次尝试在条件上添加手绘草图的文本到三维生成，即 Control3D，以增强用户的可控性。具体而言，我们通过改进的 2D 条件扩散模型（ControlNet）来引导作为 NeRF 参数化的三维场景的学习，以使每个三维场景视角与给定的文本提示和手绘草图对齐。此外，我们利用预训练的可微分照片到草图模型直接估计合成三维场景上渲染图像的草图。此类估计的草图以及每个采样视角进一步被强制与给定的草图在几何上保持一致，从而实现了更好的可控文本到三维生成。通过广泛的实验证明，我们的提议可以生成与输入的文本提示和草图紧密对齐的准确忠实的三维场景。

Nov, 2023

通过观察在常用的基于标记级别的 CLIP 文本嵌入中存在与高级属性进行主题特定的精细控制的方向，我们提出了一种有效的无优化方法和一种稳健的优化方法，以从对比文本提示中识别出特定属性的这些方向。我们演示了这些方向可以用于以组合方式增强提示文本输入，实现对特定主题的属性进行精细控制（单个主题的多个属性控制），而无需适应扩散模型。

Mar, 2024

本研究主要关注在控制性文本生成 3D 场景方面的多视图控制网络架构，该网络结合额外的输入条件，如边缘、深度、法线和素描图，使用局部和全局嵌入来控制基础扩散模型，并通过优化实现 3D 生成，最终实现了高质量、可控的 3D 内容的生成。

Mar, 2024

本篇论文提出了一种利用 3D geometry control 和 visual prompts 的扩展 diffusion models 生成图像的方法，可应用于计算机视觉任务并经过多个数据集的多次实验验证其效果。

Jun, 2023

通过最新的生成模型，提出了一种名为 LucidDreaming 的有效管道，能够对 3D 生成进行精细控制，只需要最少的 3D 边界框输入，可以通过简单的文本提示使用大型语言模型推断，通过渲染和优化对象实现对象的分开生成，与基准方法相比，实现了更高水平的 3D 内容对齐，并提供了一个带有 3D 边界框的数据集，用于评估 3D 空间可控性。

Nov, 2023

通过 DreamControl 的两阶段 2D-lifting 框架，实现了在 3D 生成中解决几何不一致性的 Janus 问题，并生成出几何一致性和纹理保真度都很高的高质量 3D 内容。

Dec, 2023

提出了一种可控的文本到三维头像生成方法 Text2Control3D，利用 ControlNet 生成视角感知图像，并通过交叉注意力注入可控的面部表情和外貌，通过高斯潜变量的低通滤波解决了视角不可知纹理问题，以及通过学习图片形变表构建三维头像。

Sep, 2023

DIRECT-3D 是一种基于扩散的三维生成模型，从文本提示中创建高质量的三维资产（由神经辐射场表示）；通过直接在大规模无序三维资产上训练，同时过滤和对齐噪声数据，使用迭代优化的扩散过程估计物体的三维姿势并选择有益数据，并通过两个条件性扩散模型实现分离对象几何和颜色特征的高效三维表示；模型能在几秒内生成具有准确几何细节的高质量、高分辨率、逼真而复杂的三维对象，并在单类别生成和文本到三维生成方面达到最先进的性能。

Jun, 2024

使用线性权重插值的自适应方法来控制和适应大型语言模型，以实现对模型输出的可预测且精细的控制。

Apr, 2024

通过将动态 3D 网格的可控性与新兴扩散模型的表达能力和可编辑性相结合，我们提出了一种新的方法来自动化计算机生成的视频的创作过程，并输出高质量和时间上一致的帧。

Dec, 2023