大规模文本到图像扩散模型的最新进展在文本到三维生成领域取得了重大突破，仅通过给定的文本提示从零开始创作三维内容。然而，现有的文本到三维技术在创作过程中缺乏一项关键能力：根据用户的需求规范（如草图）对合成的三维内容进行交互式控制和塑造。为了解决这个问题，我们首次尝试在条件上添加手绘草图的文本到三维生成，即 Control3D，以增强用户的可控性。具体而言，我们通过改进的 2D 条件扩散模型（ControlNet）来引导作为 NeRF 参数化的三维场景的学习，以使每个三维场景视角与给定的文本提示和手绘草图对齐。此外，我们利用预训练的可微分照片到草图模型直接估计合成三维场景上渲染图像的草图。此类估计的草图以及每个采样视角进一步被强制与给定的草图在几何上保持一致，从而实现了更好的可控文本到三维生成。通过广泛的实验证明，我们的提议可以生成与输入的文本提示和草图紧密对齐的准确忠实的三维场景。

Nov, 2023

该论文提出了一种新的方法来在基于扩散的图像生成过程中实现细粒度的灯光控制，通过为文本提示添加辐射提示的详细光照信息，结合经过预训练的扩散模型和 DiLightNet 来控制图像生成过程中的灯光。

Feb, 2024

我们提出了一种新颖的技术，通过文本提示为输入的粗糙 3D 网格添加几何细节。我们的方法由三个阶段组成：首先，我们基于输入的粗糙几何和输入的文本提示生成一个与之相关的单视角 RGB 图像；其次，我们使用新颖的多视角法线生成架构共同生成六个不同视角的法线图像；最后，我们对网格进行优化，生成细致的几何输出。该方法在几秒钟内产生输出，并提供对生成的 3D 网格的粗略结构、姿势和所需细节的明确用户控制。

Jun, 2024

通过 DreamControl 的两阶段 2D-lifting 框架，实现了在 3D 生成中解决几何不一致性的 Janus 问题，并生成出几何一致性和纹理保真度都很高的高质量 3D 内容。

Dec, 2023

Mesh2Tex 使用一种混合网格神经场纹理表示法，从未相关的三维物体几何和照片逼真的 RGB 图像的集合中学习出真实的物体纹理流形，以生成适用于下游应用和 3D 渲染的纹理对象，并可以在具有挑战性的真实世界场景下有效地生成逼真的物体纹理。

Apr, 2023

通过引入 SDF backbon，扩展 NeRF 来进行 3D 模型生成，并通过新颖的方法对网格纹理进行微调以改善输出的细节。

Apr, 2023

本文提出 Text2Mesh 算法，通过基于神经网络的颜色预测和本地几何细节预测实现对三维网格的样式编辑，使用 disentangled 表示法来对三维物体进行处理，无需预先训练的生成模型或特殊三维网格数据集，可以合成各种样式的三维网格。

Dec, 2021

提出了一种名为 TexControl 的基于草图的时尚生成框架，采用两阶段流程从草图输入生成时尚图像，通过 ControlNet 生成时尚图像并保持图像轮廓稳定，然后利用图像到图像的方法优化生成图像的细节纹理，获得最终结果。评估结果表明，TexControl 可以生成具有高质量纹理的细粒度时尚图像。

May, 2024

LightIt 方法通过使用阴影和法线图作为输入，在图像生成过程中实现了对光照的明确控制，并展示了在多个场景中高质量图像生成和光照控制的能力。

Mar, 2024

我们提出了一种新的方法来实现单图像网格纹理化，该方法利用适当的条件扩散模型，将对象的纹理从单个 RGB 图像无缝地转移到给定的 3D 网格对象。

May, 2024