Nov, 2023

DMV3D：使用 3D 大型重建模型的多视图扩散去噪

PDF
TL;DR我们提出了一种新颖的 3D 生成方法 DMV3D，该方法使用基于变压器的 3D 大型重建模型对多视差扩散进行去噪。我们的重建模型采用了三平面 NeRF 表示，并且可以通过 NeRF 重建和渲染对嘈杂的多视差图像进行去噪，能在单个 A100 GPU 上实现约 30 秒的单阶段 3D 生成。我们使用大规模多视差图像数据集训练 DMV3D，仅使用图像重建损失，而不访问 3D 资产。我们展示了在需要对未见过的物体部分进行概率建模以生成具有清晰纹理的多样重建的单图像重建问题上的最新成果，以及优于以往的 3D 扩散模型的高质量文本到 3D 生成结果。我们的项目网站位于此 https URL。
dmv3d3d generationmulti-view diffusionnerf reconstructiontext-to-3d generation
发现论文，激发创造
  • MVDiff: 可扩展灵活的多视图扩散用于从单视图进行 3D 物体重建

    通过引入情景表示变换器和视图条件扩散模型，该论文提出了一个通用框架，用于从单个图像生成一致的多视图图像。通过多视图注意力和极线几何约束来确保三维一致性，该模型能够从仅一个图像输入生成超过基准方法在评估指标（包括 PSNR、SSIM 和 LPIPS）方面的三维网格。

    May, 2024

  • MVDD：多视角深度扩散模型

    利用多视角深度，通过 MVDD 扩展扩散模型以生成高质量的 3D 形状，并通过增强视图之间的一致性及深度图对齐来提供卓越的 3D 形状生成和深度完成能力，以及作为下游任务的 3D 先验。

    Dec, 2023

  • NeRDi: 基于语言引导扩散的单视角 NeRF 综合技术作为通用图像先验

    提出 NeRDi—— 一种基于 2D 扩散模型通用图像先验的单视角 NeRF 综合框架，借助自然语言模型引导扩散模型进行图像合成，结合估算的深度图的几何约束，优化重建的 NeRF 表示，进而实现高质量的全景图像生成。

    Dec, 2022

  • 基于图像渲染的去噪传播

    通过引入第一种能够快速进行真实世界三维场景的详细重建和生成的推广模型，我们在本研究中提出了三个贡献：首先，引入了一种新的神经场景表示方法 IB-planes，能够有效准确地表示大型三维场景，并在需要时动态分配更多容量以捕捉每张图像中可见的细节；其次，我们提出了一种去噪扩散框架，通过仅使用二维图像而不需要额外的监督信号（如掩码或深度）学习对这种新型三维场景表示的先验知识，从而支持三维重建和生成；第三，我们开发了一种避免将基于图像渲染与扩散模型集成时产生平凡三维解决方案的原则性方法，即通过丢弃某些图像的表示。我们在几个具有挑战性的真实和合成图像数据集上评估了该模型，并在生成、新视图合成和三维重建方面展示了优越的结果。

    Feb, 2024

  • 单级扩散 NeRF：一种统一的三维生成和重建方法

    本文提出了一种称为 SSDNeRF 的新方法，它使用表达能力强的 Diffusion Model 从多视图图像中学习神经辐射场（NeRF）的可推广先验，实现 3D 重建和先验学习的同时，证明了该方法在无条件生成和单 / 稀疏视图 3D 重建等任务上具有与任务特定方法媲美或优于其的鲁棒性结果。

    Apr, 2023

  • RenderDiffusion：用于 3D 重建、修补与生成的图像扩散

    本文提出了 RenderDiffusion，这是第一个用于 3D 生成和推断的扩散模型，使用仅有的单眼 2D 监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要 2D 监督。我们在 FFHQ、AFHQ、ShapeNet 和 CLEVR 数据集上评估了 RenderDiffusion，展示了生成 3D 场景和从 2D 图像中推理 3D 场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用 2D 修复来编辑 3D 场景。

    Nov, 2022

  • 未知姿态下的多视角到 3D 的生成性提升：将 NeRF 包装在扩散中

    我们将来自未知姿态的多视图重建问题作为一个生成建模问题。通过一组未标注的场景的 2D 图像，我们的方法同时学习了一个网络来预测从 2D 图像输入中的相机姿态，并学习了用于 3D 场景的神经辐射场（NeRF）的参数。通过在标准去噪目标下使用去噪扩散概率模型（DDPM）将姿态预测网络和 NeRF 结合在一起并训练系统来推动学习进展。我们的框架要求系统通过预测图像的姿态并渲染 NeRF 来完成去噪输入 2D 图像的任务。学习去噪因此迫使系统同时学习底层的 3D NeRF 表示和从图像到摄像机外参数的映射。为了促进后者，我们设计了一个自定义的网络架构来将姿态表示为一个分布，从而在仅进行去噪训练时具备发现视图对应关系的隐式能力。这种技术允许我们的系统成功构建 NeRFs，并在竞争方法失败的具有挑战性的场景中使用。在训练结束时，我们学习到的 NeRF 可以被提取并用作 3D 场景模型；我们的完整系统可以用于采样新的相机姿态并生成新的视角图像。

    Jun, 2024

  • GTR：通过几何和纹理细化改进大型三维重建模型

    我们提出了一种新的方法，从多视角图像中进行 3D 网格重建。我们的方法借鉴了像 LRM 这样的大型重建模型，使用了基于 Transformer 的三面体生成器和在多视角图像上进行训练的神经辐射场（NeRF）模型。然而，在我们的方法中，我们引入了一些重要的修改，以显著提高 3D 重建质量。

    Jun, 2024

  • Sparse3D：基于稀疏视角的多视点一致性扩散物体重建

    Sparse3D 是一种针对稀疏视角输入的新型三维重建方法，通过从强大的图像扩散模型提取 2D 先验，使得我们的综合模型在面对开放世界对象时仍能始终保持高质量的结果，并借助 C-SDS 技术来增强细节，实验证明了我们的方法在 NVS 和几何重建方面优于之前的最先进工作。

    Aug, 2023

  • IM-3D：迭代多视图扩散与重建的高质量 3D 生成

    在本文中，我们通过考虑视频生成器，使用高斯喷洒的 3D 重建算法，减少 2D 生成器网络的评估次数 10-100 倍，实现更高效的处理管道，提供更高质量、更少几何不一致性和更多可用的 3D 资源。

    Feb, 2024