Oct, 2023

Progressive3D：逐步局部编辑复杂语义提示的 3D 内容创作

PDF
TL;DR最新的文本到 3D 生成方法通过图像扩散模型和优化策略的进展实现了令人印象深刻的 3D 内容创建能力。然而，当前的方法在生成复杂语义的准确 3D 内容（即描述多个相互作用的对象与不同属性绑定的提示）方面存在困难。在这项工作中，我们提出了一个名为 Progressive3D 的通用框架，将整个生成过程分解为一系列局部逐步编辑步骤，以创建复杂提示的精确 3D 内容，并在每个编辑步骤中，将内容更改限制在由用户定义的区域提示确定的区域内。此外，我们提出了一种重叠语义组件抑制技术，以鼓励优化过程更关注提示之间的语义差异。大量实验证明了所提出的 Progressive3D 框架能够为具有复杂语义的提示生成精确的 3D 内容，并且适用于由不同 3D 表示驱动的各种文本到 3D 方法。
text-to-3d generationprogressive3d frameworksemantic differencesprecise 3d contentcomplex prompts
发现论文，激发创造
  • VP3D：释放 2D 视觉提示以实现文本到 3D 生成

    通过可视化引导的扩散模型，从 2D 可视化提示中显式释放视觉外观知识以增强 3D 模型的生成。

    Mar, 2024

  • Instant3D：即时文本到三维生成

    提出了一种新的基于文本的 3D 生成框架，名为 Instant3D，使用前向网络在不到一秒的时间内为未见的文本提示创建一个 3D 对象，并解决了 Janus 问题的多头效应。

    Nov, 2023

  • 渐进式文本到三维生成用于自动三维打印

    通过自然语言描述生成三维物体的文本到三维生成技术，采用多尺度三面网（Multi-Scale Triplane Network）和新的渐进学习策略，有效地恢复细节并高效优化大尺寸三维输出，为自动三维原型制作提供了可能。

    Sep, 2023

  • ATT3D: 文本生成三维物体的摊薄

    通过将生成式文本转图像模型和图像到 3D 方法相结合，如神经辐射场，文本到 3D 建模已经取得了令人兴奋的进展，但目前需要逐个优化来创建 3D 对象。我们提出了一种新的框架 - 摊销文本到 3D（ATT3D）- 通过以统一模型同时训练多个提示来摊销优化，从而在更短的时间内共享提示集的计算，实现了跨提示的知识共享，可以概括未见过的设置，并使文本之间的插值更加平滑，从而实现了新资产和简单动画的 3D 建模。

    Jun, 2023

  • Control3D：面向可控的文本到 3D 生成

    大规模文本到图像扩散模型的最新进展在文本到三维生成领域取得了重大突破，仅通过给定的文本提示从零开始创作三维内容。然而，现有的文本到三维技术在创作过程中缺乏一项关键能力：根据用户的需求规范（如草图）对合成的三维内容进行交互式控制和塑造。为了解决这个问题，我们首次尝试在条件上添加手绘草图的文本到三维生成，即 Control3D，以增强用户的可控性。具体而言，我们通过改进的 2D 条件扩散模型（ControlNet）来引导作为 NeRF 参数化的三维场景的学习，以使每个三维场景视角与给定的文本提示和手绘草图对齐。此外，我们利用预训练的可微分照片到草图模型直接估计合成三维场景上渲染图像的草图。此类估计的草图以及每个采样视角进一步被强制与给定的草图在几何上保持一致，从而实现了更好的可控文本到三维生成。通过广泛的实验证明，我们的提议可以生成与输入的文本提示和草图紧密对齐的准确忠实的三维场景。

    Nov, 2023

  • EfficientDreamer: 高保真和鲁棒的三维创作通过正交视图扩散先验

    通过引入一种新的二维扩散模型来生成由四个正交视图子图像组成的图像，从而利用正交视图图像引导生成高保真度的三维内容，并应用渐进式三维合成策略，显著提高了生成效率和质量，包括解决了 Janus 问题，并在定量和定性评估中证明了优越性。

    Aug, 2023

  • 3DDesigner: 基于文本引导扩散模型的照片般逼真的 3D 物体生成和编辑

    本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法，并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

    Nov, 2022

  • 野外文本生成三维内容调查

    文献调查了最新的文本生成三维内容的方法，并详细介绍了该领域的背景、数据集、评估指标以及不同的三维表示方法。通过对生成流程的分类和优劣势的分析，为进一步探索基于文本的三维内容创建提供了启示，并指出了未来研究的几个有希望的方向。

    May, 2024

  • IT3D：通过显式视图合成改进的文本生成 3D 方法

    利用多视角图像和 Diffusion-GAN 方法在 Text-to-3D 技术中生成高质量图像。

    Aug, 2023

  • Instant3D：稀疏视图生成和大型重建模型下的快速文本到 3D

    通过使用两阶段的方法 —— 首先使用精调的 2D 文本到图像扩散模型一次性生成稀疏一致的四个结构化视图，然后利用一种新颖的基于 Transformer 的稀疏视图重构器直接回归生成的图像的 NeRF—— 我们提出了 Instant3D，一种新颖的方法，以前馈方式从文本提示中生成高质量、多样化的 3D 资产。通过大量实验证明，我们的方法可以在 20 秒内生成高质量、多样化且无 Janus 问题的 3D 资产，比之前需要 1 到 10 小时的基于优化的方法快两个数量级。

    Nov, 2023