Jun, 2023

ATT3D: 文本生成三维物体的摊薄

PDF
TL;DR通过将生成式文本转图像模型和图像到 3D 方法相结合，如神经辐射场，文本到 3D 建模已经取得了令人兴奋的进展，但目前需要逐个优化来创建 3D 对象。我们提出了一种新的框架 - 摊销文本到 3D（ATT3D）- 通过以统一模型同时训练多个提示来摊销优化，从而在更短的时间内共享提示集的计算，实现了跨提示的知识共享，可以概括未见过的设置，并使文本之间的插值更加平滑，从而实现了新资产和简单动画的 3D 建模。
text-to-3d modellinggenerative modelsneural radiance fieldsamortized text-to-3d3d objects
发现论文，激发创造
  • LATTE3D：大规模摊销的文本到增强 3D 合成

    基于 LATTE3D 的优化方法，可以实现高效、高质量的文本到 3D 合成，并支持大规模设置的快速生成。

    Mar, 2024

  • AToM：使用 2D 扩散进行摊销的文本到网格转换

    通过引入折旧的文本到网格（AToM）框架，我们能够优化同时处理多个文本提示，以与现有的文本到三维方法进行对比，并且在不到 1 秒的时间内生成高质量纹理网格，训练成本降低约 10 倍，且可以推广到未见过的提示。

    Feb, 2024

  • ET3D：通过多视角蒸馏实现高效的文本到三维生成

    通过使用大型预训练的文本到图像扩散模型生成的图像作为监督信号，我们提出了一种高效的文本到 3D 生成方法，在消费级显卡上仅需约 8 毫秒即可根据文本提示生成一个 3D 资产，并且不需要 3D 训练数据，通过提炼预训练图像扩散模型为高效文本到 3D 生成提供了一种替代方法。

    Nov, 2023

  • Instant3D：即时文本到三维生成

    提出了一种新的基于文本的 3D 生成框架，名为 Instant3D，使用前向网络在不到一秒的时间内为未见的文本提示创建一个 3D 对象，并解决了 Janus 问题的多头效应。

    Nov, 2023

  • Instant3D：稀疏视图生成和大型重建模型下的快速文本到 3D

    通过使用两阶段的方法 —— 首先使用精调的 2D 文本到图像扩散模型一次性生成稀疏一致的四个结构化视图，然后利用一种新颖的基于 Transformer 的稀疏视图重构器直接回归生成的图像的 NeRF—— 我们提出了 Instant3D，一种新颖的方法，以前馈方式从文本提示中生成高质量、多样化的 3D 资产。通过大量实验证明，我们的方法可以在 20 秒内生成高质量、多样化且无 Janus 问题的 3D 资产，比之前需要 1 到 10 小时的基于优化的方法快两个数量级。

    Nov, 2023

  • DiverseDream: 借助增强的文本嵌入进行多样化的文本到三维合成

    使用文本转图像模型作为视觉先验进行文本到 3D 合成，通过对参考图像进行文本反转来增强文本提示，提高文本到 3D 合成的多样性。

    Dec, 2023

  • Magic3D：高分辨率文本到 3D 内容生成

    本文提出了一种名为 Magic3D 的优化框架，利用低分辨率扩散先验和稀疏 3D 哈希格网结构，通过两阶段优化过程加速生成高质量 3D 网格模型，相对于 DreamFusion 优化用时减少一倍，同时也实现了更高分辨率的生成。用户调查表明，高达 61.7% 的用户更喜欢 Magic3D 模型。

    Nov, 2022

  • Dual3D: 双模多视角潜在扩散下高效一致的文本到 3D 生成

    我们提出了 Dual3D，一种新颖的文本到 3D 生成框架，仅需 1 分钟从文本生成高质量的 3D 资产。其中关键组件是双模态多视图潜在扩散模型，通过单个潜在去噪网络可以有效去噪多视图潜在，在 3D 模式下可以生成一致渲染的三面神经表面实现去噪。我们通过预训练的文本到图像潜在扩散模型调整多数模块，避免了从头训练的昂贵代价。同时，我们提出了双模态切换推理策略，仅使用 1/10 的去噪步骤和 3D 模式，在仅 10 秒的时间内成功生成高质量的 3D 资产，同时可以通过高效的纹理细化过程进一步增强 3D 资产的纹理，大量实验证明我们的方法在显著减少生成时间的同时提供了最先进的性能。

    May, 2024

  • Progressive3D：逐步局部编辑复杂语义提示的 3D 内容创作

    最新的文本到 3D 生成方法通过图像扩散模型和优化策略的进展实现了令人印象深刻的 3D 内容创建能力。然而，当前的方法在生成复杂语义的准确 3D 内容（即描述多个相互作用的对象与不同属性绑定的提示）方面存在困难。在这项工作中，我们提出了一个名为 Progressive3D 的通用框架，将整个生成过程分解为一系列局部逐步编辑步骤，以创建复杂提示的精确 3D 内容，并在每个编辑步骤中，将内容更改限制在由用户定义的区域提示确定的区域内。此外，我们提出了一种重叠语义组件抑制技术，以鼓励优化过程更关注提示之间的语义差异。大量实验证明了所提出的 Progressive3D 框架能够为具有复杂语义的提示生成精确的 3D 内容，并且适用于由不同 3D 表示驱动的各种文本到 3D 方法。

    Oct, 2023

  • 用于工程设计优化的大型语言和文本到 3D 模型

    本文研究了在工程领域中，利用深度文本到 3D 模型的潜力，将其与计算模拟设计优化中的三维资产相结合，探讨了由于自然语言的不同解释而导致优化框架的挑战，并在航空动力学优化中，成功地利用 Shap-E 和两种不同的表示文本提示的方法，实现自动进化设计优化框架的构建，研究结果表明需要确保生成的设计在应用领域的对象类别内，并需要进一步研究如何提高文本提示变化强度和 3D 设计变化的因果关系。

    Jul, 2023