Sep, 2023

利用生成重绘为 3D 资产注入新生命

PDF
TL;DR基于扩散的文本到图像模型引起了视觉社区、艺术家和内容创作者的极大关注。通过将预训练的 2D 扩散模型和标准的 3D 神经辐射场作为独立的工具结合起来，我们展示了它们在非学习的方式上相互配合的能力。
diffusion-basedtext-to-image modelspretrained 2d diffusion modelsstandard 3d neural radiance fieldsgenerative refinement
发现论文，激发创造
  • DreamFusion: 使用 2D 扩散进行文本到 3D 转换

    本文提出了一种使用基于文本转图像的扩散模型进行文本到 3D 合成的方法，该方法绕过了需要大规模标记的 3D 数据集和能够去噪的 3D 数据的限制，将 2D 的扩散模型作为先验，通过梯度下降优化 3D 模型（Neural Radiance Field），并使用概率密度蒸馏引入的损失函数将 2D 扩散模型与 3D 模型相结合。这种方法不需要 3D 训练数据，也不需要修改图像扩散模型，证明了使用预训练的图像扩散模型作为先验的有效性。

    Sep, 2022

  • 3DDesigner: 基于文本引导扩散模型的照片般逼真的 3D 物体生成和编辑

    本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法，并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

    Nov, 2022

  • Paint3D: 光线无关纹理扩散模型绘制 3D 任意图案

    本文介绍了一种新颖的粗细生成框架 Paint3D，它能根据文本或图像输入，为未纹理化的 3D 网格生成高分辨率、无光照且多样化的 2K UV 纹理贴图。该方法通过利用预训练的深度感知 2D 扩散模型生成视图条件图像，并进行多视图纹理融合，得到初步的粗糙纹理贴图。然后，通过训练专门用于修复不完整区域和消除光照伪影的 UV 修复和 UVHD 扩散模型，解决了粗糙纹理贴图中的不完整区域和光照伪影问题。通过这一粗细过程，Paint3D 能够生成保持语义一致性且无光照的高质量 2K UV 纹理，从而显著推动了 3D 物体纹理制作的现状技术。

    Dec, 2023

  • 使用文本到图像扩散模型生成带有关节的 3D 头像

    本文提出了一种新的基于 3D 可塑模型（3DMM）的文本引导头部生成方法，利用扩散模型生成多视图一致性辐射场的同时更新几何和纹理以生成和文本描述一致的 3D 头部化身，以此在一定程度上提高 3D 头部生成的精度和多样性。

    Jul, 2023

  • 基于图像渲染的去噪传播

    通过引入第一种能够快速进行真实世界三维场景的详细重建和生成的推广模型，我们在本研究中提出了三个贡献：首先，引入了一种新的神经场景表示方法 IB-planes，能够有效准确地表示大型三维场景，并在需要时动态分配更多容量以捕捉每张图像中可见的细节；其次，我们提出了一种去噪扩散框架，通过仅使用二维图像而不需要额外的监督信号（如掩码或深度）学习对这种新型三维场景表示的先验知识，从而支持三维重建和生成；第三，我们开发了一种避免将基于图像渲染与扩散模型集成时产生平凡三维解决方案的原则性方法，即通过丢弃某些图像的表示。我们在几个具有挑战性的真实和合成图像数据集上评估了该模型，并在生成、新视图合成和三维重建方面展示了优越的结果。

    Feb, 2024

  • 生成渲染：可控的 4D 引导视频生成与 2D 扩散模型

    通过将动态 3D 网格的可控性与新兴扩散模型的表达能力和可编辑性相结合，我们提出了一种新的方法来自动化计算机生成的视频的创作过程，并输出高质量和时间上一致的帧。

    Dec, 2023

  • RenderDiffusion：用于 3D 重建、修补与生成的图像扩散

    本文提出了 RenderDiffusion，这是第一个用于 3D 生成和推断的扩散模型，使用仅有的单眼 2D 监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要 2D 监督。我们在 FFHQ、AFHQ、ShapeNet 和 CLEVR 数据集上评估了 RenderDiffusion，展示了生成 3D 场景和从 2D 图像中推理 3D 场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用 2D 修复来编辑 3D 场景。

    Nov, 2022

  • Sculpt3D：多视角一致的基于稀疏三维先验的文本生成 3D

    使用稀疏射线采样方法通过关键点监督，实现了在当前管道中显式注入来自检索参考对象的 3D 先验，以确保高质量和多样化的 3D 几何，同时保持 2D 扩散模型的生成质量和多视角一致性。

    Mar, 2024

  • 使用双向扩散结合 2D 和 3D 先验的文本至 3D 生成

    以 Bidirectional Diffusion（BiDiff）为框架，同时整合 3D 和 2D 扩散过程，既保持了 3D 的真实性，又保留了 2D 纹理的丰富性，通过新颖的双向引导进一步提高一致性，将生成的过程从 3.4 小时减少到 20 分钟，以达到高质量、多样性和可伸缩性的 3D 生成。

    Dec, 2023

  • PI3D：高效的文本到 3D 生成与伪图像扩散

    本文介绍了 PI3D，一个高效的框架，利用预训练的文本到图像扩散模型在几分钟内生成高质量的 3D 形状。通过将预训练的 2D 扩散模型微调为 3D 扩散模型，PI3D 具备了 3D 生成能力和源自 2D 模型的泛化能力，并利用 2D 扩散模型的分数蒸馏抽样快速提高采样的 3D 形状的质量。通过将知识迁移为一组伪图像，PI3D 实现了从图像到三视图生成的迁移。我们通过调整预训练模型中的模块，实现了使用伪图像和真实图像进行混合训练，这已被证明是一种提高泛化能力的有效策略。PI3D 的效率在于能够在几秒钟内采样多样性的 3D 模型，并在几分钟内对其进行改进。实验结果证实了 PI3D 相对于基于 3D 扩散模型或提升 2D 扩散模型的现有方法在快速生成一致且高质量的 3D 模型方面的优势。建议的 PI3D 是文本到 3D 生成领域的一个有前景的进展，我们希望它能激发更多关于利用 2D 和 3D 数据知识的 3D 生成研究。

    Dec, 2023