Jun, 2024

Ouroboros3D: 图像到三维生成的三维感知递归扩散

PDF
TL;DR现有的单图像到 3D 生成方法通常涉及两个阶段的过程，首先生成多视图图像，然后使用这些图像进行 3D 重建。然而，分别训练这两个阶段会导致推理阶段的数据偏差，从而影响重建结果的质量。我们引入了一个统一的 3D 生成框架，命名为 Ouroboros3D，它将基于扩散的多视图图像生成和 3D 重建集成到递归扩散过程中。在我们的框架中，通过自我条件机制联合训练这两个模块，使它们能够适应彼此的特征以进行稳健的推理。在多视图去噪过程中，多视图扩散模型使用由重建模块在上一时间步骤渲染的具有 3D 感知的地图作为附加条件。具有 3D 感知反馈的递归扩散框架统一了整个过程并改进了几何一致性。实验证明，我们的框架优于将这两个阶段分离和将它们合并在推理阶段的现有方法。
single image-to-3d creationmulti-view image generation3d reconstructionouroboros3drecursive diffusion framework
发现论文，激发创造
  • RenderDiffusion：用于 3D 重建、修补与生成的图像扩散

    本文提出了 RenderDiffusion，这是第一个用于 3D 生成和推断的扩散模型，使用仅有的单眼 2D 监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要 2D 监督。我们在 FFHQ、AFHQ、ShapeNet 和 CLEVR 数据集上评估了 RenderDiffusion，展示了生成 3D 场景和从 2D 图像中推理 3D 场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用 2D 修复来编辑 3D 场景。

    Nov, 2022

  • DMV3D：使用 3D 大型重建模型的多视图扩散去噪

    我们提出了一种新颖的 3D 生成方法 DMV3D，该方法使用基于变压器的 3D 大型重建模型对多视差扩散进行去噪。我们的重建模型采用了三平面 NeRF 表示，并且可以通过 NeRF 重建和渲染对嘈杂的多视差图像进行去噪，能在单个 A100 GPU 上实现约 30 秒的单阶段 3D 生成。我们使用大规模多视差图像数据集训练 DMV3D，仅使用图像重建损失，而不访问 3D 资产。我们展示了在需要对未见过的物体部分进行概率建模以生成具有清晰纹理的多样重建的单图像重建问题上的最新成果，以及优于以往的 3D 扩散模型的高质量文本到 3D 生成结果。我们的项目网站位于此 https URL。

    Nov, 2023

  • 视图集扩散：从二维数据生成 (0-) 图像条件下的三维生成模型

    借助 Viewset Diffusion 框架，可以从 2D 数据中训练图像条件化的 3D 生成模型，从而解决单视图 3D 重建中的歧义问题，并通过对多视图图像集的去噪扩展了 3D 真实数据的可用性，通过仅渲染 3 张图片，我们的模型可以执行 3D 生成和单视图重建。

    Jun, 2023

  • Diffusion$^2$: 通过正交扩散模型的得分组合生成动态 3D 内容

    Diffusion$^2$ 是一种新颖的框架，通过从视频数据和多视图扩散模型获取几何一致性和时间平滑性的知识，直接生成密集的多视图和多帧图像，优化连续性 4D 表示，从而在几分钟内生成 4D 内容。

    Apr, 2024

  • 基于图像渲染的去噪传播

    通过引入第一种能够快速进行真实世界三维场景的详细重建和生成的推广模型，我们在本研究中提出了三个贡献：首先，引入了一种新的神经场景表示方法 IB-planes，能够有效准确地表示大型三维场景，并在需要时动态分配更多容量以捕捉每张图像中可见的细节；其次，我们提出了一种去噪扩散框架，通过仅使用二维图像而不需要额外的监督信号（如掩码或深度）学习对这种新型三维场景表示的先验知识，从而支持三维重建和生成；第三，我们开发了一种避免将基于图像渲染与扩散模型集成时产生平凡三维解决方案的原则性方法，即通过丢弃某些图像的表示。我们在几个具有挑战性的真实和合成图像数据集上评估了该模型，并在生成、新视图合成和三维重建方面展示了优越的结果。

    Feb, 2024

  • EfficientDreamer: 高保真和鲁棒的三维创作通过正交视图扩散先验

    通过引入一种新的二维扩散模型来生成由四个正交视图子图像组成的图像，从而利用正交视图图像引导生成高保真度的三维内容，并应用渐进式三维合成策略，显著提高了生成效率和质量，包括解决了 Janus 问题，并在定量和定性评估中证明了优越性。

    Aug, 2023

  • 使用双向扩散结合 2D 和 3D 先验的文本至 3D 生成

    以 Bidirectional Diffusion（BiDiff）为框架，同时整合 3D 和 2D 扩散过程，既保持了 3D 的真实性，又保留了 2D 纹理的丰富性，通过新颖的双向引导进一步提高一致性，将生成的过程从 3.4 小时减少到 20 分钟，以达到高质量、多样性和可伸缩性的 3D 生成。

    Dec, 2023

  • 3DDesigner: 基于文本引导扩散模型的照片般逼真的 3D 物体生成和编辑

    本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法，并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

    Nov, 2022

  • MVDiff: 可扩展灵活的多视图扩散用于从单视图进行 3D 物体重建

    通过引入情景表示变换器和视图条件扩散模型，该论文提出了一个通用框架，用于从单个图像生成一致的多视图图像。通过多视图注意力和极线几何约束来确保三维一致性，该模型能够从仅一个图像输入生成超过基准方法在评估指标（包括 PSNR、SSIM 和 LPIPS）方面的三维网格。

    May, 2024

  • Boosting3D: 通过逐步学习将 2D 扩散先验提升到 3D 先验的高保真图像到 3D 转化

    Boosting3D 是一种多阶段单图像到 3D 生成方法，能够在不同数据领域中鲁棒地生成合理的 3D 对象。该方法通过建模合理的几何结构来解决单图像引导的 3D 生成中的视角一致性问题，利用更好的 3D 先验在训练 NeRF 之前对目标对象进行训练，并提出了一种渐进训练策略来训练 LoRA 和 NeRF。通过渐进训练，LoRA 学习生成对象的 3D 信息，最终成为对象级别的 3D 先验。实验证明了该方法的有效性，Boosting3D 学习了超出预训练扩散先验能力的对象特定 3D 先验，并在单图像到 3D 生成任务中取得了最先进的性能。

    Nov, 2023