Nov, 2022

TextCraft: 从文本生成高保真度和多样性形状的零射击方法

PDF
TL;DRTextCraft 使用多分辨率和离散的潜在空间生成高保真且多样化的 3D 模型，过程中使用 CLIP 作为条件，并结合变形器模型和无分类器引导方法，优于其他同领域研究。
text-to-3d-shape synthesistextcraftclipmulti-resolution approachclassifier-free guidance
发现论文，激发创造
  • CLIP-Forge: 零样本文本生成形状

    本研究提出了一种名为 CLIP-Forge 的简单而有效的方法，该方法是基于文本和形状数据不可用的情况下进行的零样本文本生成图形的二阶段培训过程。该方法不仅具有避免推理时间优化的优势，而且能够为给定的文本生成多个形状。实验结果表明，该模型具有良好的零样本泛化能力，并对其行为进行了广泛的比较评估。

    Oct, 2021

  • Dream3D: 使用 3D 形状先验和文本到图像扩散模型进行零样本文本到三维合成

    本文提出了 Dream3D 方法，将显式的三维形状先验引入 CLIP 导向的三维优化过程中，以生成高质量的三维形状。结合文本到图像扩散模型，Dream3D 能够生成精准而富有想象力的三维内容。

    Dec, 2022

  • ZeroForge: 无需 3D 监督的前向文本到形状

    本文介绍一种名为 ZeroForge 的零样本学习方法，可避免依赖标记的 3D 形状数据集和推断时间昂贵的隐式神经表达优化，通过结合 CLIP-loss 和对比损失等技术，扩大了现有前馈文本到形状模型如 CLIP-Forge 的生成能力，并使用广泛的定性和定量评估支持了这种方法。

    Jun, 2023

  • ShapeCrafter：一种递归文本条件化的 3D 形状生成模型

    我们提出了 ShapeCrafter，这是一个针对递归文本条件 3D 形状生成的神经网络。通过对初始短语进行条件限制，我们的方法和数据集 Text2Shape++ 可以使形状的生成逐步发展，可以进行形状编辑和外推，支持人机协作设计的新应用。

    Jul, 2022

  • 文本到 3D 形状生成

    近年来，文本到三维形状生成领域经历了大量的工作和兴趣。这篇综述报告了驱动文本到三维形状生成的底层技术和方法，并对需要的监督数据类型进行了系统分类。最后，讨论了现有方法的局限性，并勾画了未来工作的有希望的方向。

    Mar, 2024

  • TAPS3D：基于伪监督的文本引导的三维纹理形状生成

    该论文提出了一种使用伪字幕训练文本引导的 3D 形状生成器的方法，通过采用低级别的图像正则化，进一步增加几何多样性，可以从给定的文本生成 3D 纹理形状，并且对模型进行了大量的实验分析。

    Mar, 2023

  • 基于文本指导的隐式 3D 形状生成

    该研究探讨了从文本生成 3D 形状的任务，提出了一种新的文本引导的 3D 形状生成方法，能够在形状与颜色上产生高保真匹配文本描述的形状，技术贡献包括基于词级空间转换器和循环损失的一致性措施，并引入了形状 IMLE 进行生成的多样性。

    Mar, 2022

  • 使用预训练的图文模型从文本生成带纹理的三维模型

    基于预训练的 CLIP 模型，我们提出了一种从输入的文本提示中生成 3D 模型的零样本生成技术。通过对网格参数的优化，我们可以直接生成形状、纹理或两者，而无需进行培训。

    Mar, 2022

  • 基于先验知识引导的文本 - 三维生成模型

    本文提出一种新颖的文本生成 3D 模型方法（T2TD），通过引入相关形状或文本信息作为先验知识来提高 3D 模型生成模型的性能，并采用多层变压器结构逐步融合相关形状和文本信息，证明了该方法在 3D 模型生成质量上显着提高，且表现优于现有文本转形状数据集上的 SOTA 方法。

    May, 2023

  • Control3D：面向可控的文本到 3D 生成

    大规模文本到图像扩散模型的最新进展在文本到三维生成领域取得了重大突破，仅通过给定的文本提示从零开始创作三维内容。然而，现有的文本到三维技术在创作过程中缺乏一项关键能力：根据用户的需求规范（如草图）对合成的三维内容进行交互式控制和塑造。为了解决这个问题，我们首次尝试在条件上添加手绘草图的文本到三维生成，即 Control3D，以增强用户的可控性。具体而言，我们通过改进的 2D 条件扩散模型（ControlNet）来引导作为 NeRF 参数化的三维场景的学习，以使每个三维场景视角与给定的文本提示和手绘草图对齐。此外，我们利用预训练的可微分照片到草图模型直接估计合成三维场景上渲染图像的草图。此类估计的草图以及每个采样视角进一步被强制与给定的草图在几何上保持一致，从而实现了更好的可控文本到三维生成。通过广泛的实验证明，我们的提议可以生成与输入的文本提示和草图紧密对齐的准确忠实的三维场景。

    Nov, 2023