Nov, 2023

Boosting3D: 通过逐步学习将 2D 扩散先验提升到 3D 先验的高保真图像到 3D 转化

PDF
TL;DRBoosting3D 是一种多阶段单图像到 3D 生成方法，能够在不同数据领域中鲁棒地生成合理的 3D 对象。该方法通过建模合理的几何结构来解决单图像引导的 3D 生成中的视角一致性问题，利用更好的 3D 先验在训练 NeRF 之前对目标对象进行训练，并提出了一种渐进训练策略来训练 LoRA 和 NeRF。通过渐进训练，LoRA 学习生成对象的 3D 信息，最终成为对象级别的 3D 先验。实验证明了该方法的有效性，Boosting3D 学习了超出预训练扩散先验能力的对象特定 3D 先验，并在单图像到 3D 生成任务中取得了最先进的性能。
发现论文，激发创造
  • HiFA：高保真度文本到三维生成与高级扩散引导

    我们通过使用扩散先验来改进已有的文本生成 3D 模型的技术，提出了一种新的训练方法，并应用了深度监督和密度场正则化来提高几何表示和图像质量。实验结果表明我们的方法在提高真实感和多视角一致性方面优于现有技术。

    May, 2023

  • 单级扩散 NeRF：一种统一的三维生成和重建方法

    本文提出了一种称为 SSDNeRF 的新方法，它使用表达能力强的 Diffusion Model 从多视图图像中学习神经辐射场（NeRF）的可推广先验，实现 3D 重建和先验学习的同时，证明了该方法在无条件生成和单 / 稀疏视图 3D 重建等任务上具有与任务特定方法媲美或优于其的鲁棒性结果。

    Apr, 2023

  • NeRDi: 基于语言引导扩散的单视角 NeRF 综合技术作为通用图像先验

    提出 NeRDi—— 一种基于 2D 扩散模型通用图像先验的单视角 NeRF 综合框架，借助自然语言模型引导扩散模型进行图像合成，结合估算的深度图的几何约束，优化重建的 NeRF 表示，进而实现高质量的全景图像生成。

    Dec, 2022

  • 学习优化去噪分数用于 3D 生成：对 NeRF 和 3D 高斯叠加进行统一和改进的扩散先验

    我们提出了一个统一框架，旨在增强三维生成任务的扩散先验。通过优化三维模型和扩散先验，我们的方法在性能和实施复杂性之间提供了多种配置，并在文本到三维生成领域取得了显著成果，成为新的技术先驱。

    Dec, 2023

  • 文字图像条件扩散用于一致的文字到 3D 生成

    通过将预训练的二维扩散模型引入神经光辐射场（NeRFs），文本到三维生成方法取得了巨大的进展，其中许多最先进的方法通常使用得分蒸馏采样（SDS）来优化 NeRF 表示，该方法通过预训练的文本条件的二维扩散模型（例如 ImData）监督 NeRF 优化。然而，由这种预训练扩散模型提供的监督信号仅依赖于文本提示，并不限制多视角一致性。为了将跨视角一致性引入扩散先验中，一些最近的工作通过多视角数据微调二维扩散模型，但仍缺乏细粒度的视图连贯性。为了解决这个挑战，我们将多视角图像条件纳入 NeRF 优化的监督信号中，明确强制执行细粒度的视图一致性。通过这种更强的监督，我们提出的文本到三维方法有效地减轻了由于过高密度而产生的浮动点和由于密度不足而形成的完全空白空间。我们在 T$^3$Bench 数据集上的定量评估表明，我们的方法在现有的文本到三维方法中达到了最先进的性能。我们将公开发布代码。

    Dec, 2023

  • 未知姿态下的多视角到 3D 的生成性提升：将 NeRF 包装在扩散中

    我们将来自未知姿态的多视图重建问题作为一个生成建模问题。通过一组未标注的场景的 2D 图像，我们的方法同时学习了一个网络来预测从 2D 图像输入中的相机姿态，并学习了用于 3D 场景的神经辐射场（NeRF）的参数。通过在标准去噪目标下使用去噪扩散概率模型（DDPM）将姿态预测网络和 NeRF 结合在一起并训练系统来推动学习进展。我们的框架要求系统通过预测图像的姿态并渲染 NeRF 来完成去噪输入 2D 图像的任务。学习去噪因此迫使系统同时学习底层的 3D NeRF 表示和从图像到摄像机外参数的映射。为了促进后者，我们设计了一个自定义的网络架构来将姿态表示为一个分布，从而在仅进行去噪训练时具备发现视图对应关系的隐式能力。这种技术允许我们的系统成功构建 NeRFs，并在竞争方法失败的具有挑战性的场景中使用。在训练结束时，我们学习到的 NeRF 可以被提取并用作 3D 场景模型；我们的完整系统可以用于采样新的相机姿态并生成新的视角图像。

    Jun, 2024

  • DITTO-NeRF: 基于扩散的迭代文本到全向 3D 模型

    提出了一种名为 DITTO-NeRF 的新型流水线，用于从文本提示或单个图像生成高质量的 3D NeRF 模型，并通过逐步重建规模、角度和遮罩等方案来解决 Image-to-3D 方法的低对应性和多视图一致性的问题，在保留微小边界角度信息的情况下，实现对 NeRF 模型的高保真度和多样性重建。

    Apr, 2023

  • Lift3D: 将 2D GAN 抬升至 3D 生成电辐射场以合成 3D 训练数据

    本文提出了一种名为 Lift3D 的反转 2D-to-3D 生成框架来生成高分辨率且逼真的三维物体图像，并在自主驾驶数据集上进行了实验，结果表明，该数据生成框架可以有效提高三维物体探测器的性能。

    Apr, 2023

  • DMV3D：使用 3D 大型重建模型的多视图扩散去噪

    我们提出了一种新颖的 3D 生成方法 DMV3D，该方法使用基于变压器的 3D 大型重建模型对多视差扩散进行去噪。我们的重建模型采用了三平面 NeRF 表示，并且可以通过 NeRF 重建和渲染对嘈杂的多视差图像进行去噪，能在单个 A100 GPU 上实现约 30 秒的单阶段 3D 生成。我们使用大规模多视差图像数据集训练 DMV3D，仅使用图像重建损失，而不访问 3D 资产。我们展示了在需要对未见过的物体部分进行概率建模以生成具有清晰纹理的多样重建的单图像重建问题上的最新成果，以及优于以往的 3D 扩散模型的高质量文本到 3D 生成结果。我们的项目网站位于此 https URL。

    Nov, 2023

  • 基于主体特定知识先验的高质量单张图像三维建模

    本文提出了一种创新的两阶段方法，充分利用参考图像提供的信息，建立用于图像到 3D 生成的定制知识先验。我们提出了一种特定于主题和多模态的扩散模型，不仅通过考虑阴影模式来改善几何形状优化 NeRF，而且从粗糙结果中增强纹理以实现更好的细化。两方面都有助于使 3D 内容与主题保持一致。广泛的实验展示了我们方法 “Customize-It-3D” 的优越性，其性能显著优于以前的工作。它产生了具有令人印象深刻的视觉质量的忠实 360 度重建，非常适用于各种应用，包括文本到 3D 创建。

    Dec, 2023