本文提出一种新颖的文本生成 3D 模型方法（T2TD），通过引入相关形状或文本信息作为先验知识来提高 3D 模型生成模型的性能，并采用多层变压器结构逐步融合相关形状和文本信息，证明了该方法在 3D 模型生成质量上显着提高，且表现优于现有文本转形状数据集上的 SOTA 方法。

May, 2023

为了实现快速的文本到 3D 生成，本文提出了 Triplane Attention for text-guided 3D generation (TPA3D)，一种基于端到端可训练 GAN 模型。通过对提取的句子和单词级文本特征进行注意力机制，TPA3D 能够生成与细粒度描述相对应的高质量 3D 纹理形状，并呈现出令人印象深刻的计算效率。

Dec, 2023

该研究探讨了从文本生成 3D 形状的任务，提出了一种新的文本引导的 3D 形状生成方法，能够在形状与颜色上产生高保真匹配文本描述的形状，技术贡献包括基于词级空间转换器和循环损失的一致性措施，并引入了形状 IMLE 进行生成的多样性。

Mar, 2022

TextCraft 使用多分辨率和离散的潜在空间生成高保真且多样化的 3D 模型，过程中使用 CLIP 作为条件，并结合变形器模型和无分类器引导方法，优于其他同领域研究。

Nov, 2022

通过引入文本条件，该论文提出了一种名为 TG-3DFace 的文本引导的 3D 人脸生成方法，利用全局对比学习和细粒度对齐模块两种跨模态对齐技术，实现了更逼真和语义一致的纹理生成。

Aug, 2023

通过结合文字和图像信息，利用扩散模型，我们开发了一种零样本的三维生成模型，能够合成高分辨率纹理网格，实现了将二维图像直接转化为三维空间的功能。

Aug, 2023

本文提出了 Dream3D 方法，将显式的三维形状先验引入 CLIP 导向的三维优化过程中，以生成高质量的三维形状。结合文本到图像扩散模型，Dream3D 能够生成精准而富有想象力的三维内容。

Dec, 2022

基于预训练的 CLIP 模型，我们提出了一种从输入的文本提示中生成 3D 模型的零样本生成技术。通过对网格参数的优化，我们可以直接生成形状、纹理或两者，而无需进行培训。

Mar, 2022

近年来，文本到三维形状生成领域经历了大量的工作和兴趣。这篇综述报告了驱动文本到三维形状生成的底层技术和方法，并对需要的监督数据类型进行了系统分类。最后，讨论了现有方法的局限性，并勾画了未来工作的有希望的方向。

Mar, 2024

大规模文本到图像扩散模型的最新进展在文本到三维生成领域取得了重大突破，仅通过给定的文本提示从零开始创作三维内容。然而，现有的文本到三维技术在创作过程中缺乏一项关键能力：根据用户的需求规范（如草图）对合成的三维内容进行交互式控制和塑造。为了解决这个问题，我们首次尝试在条件上添加手绘草图的文本到三维生成，即 Control3D，以增强用户的可控性。具体而言，我们通过改进的 2D 条件扩散模型（ControlNet）来引导作为 NeRF 参数化的三维场景的学习，以使每个三维场景视角与给定的文本提示和手绘草图对齐。此外，我们利用预训练的可微分照片到草图模型直接估计合成三维场景上渲染图像的草图。此类估计的草图以及每个采样视角进一步被强制与给定的草图在几何上保持一致，从而实现了更好的可控文本到三维生成。通过广泛的实验证明，我们的提议可以生成与输入的文本提示和草图紧密对齐的准确忠实的三维场景。

Nov, 2023