CVPRJun, 2024

ExtraNeRF: 带扩散模型的神经辐射场可见性感知视图外推

PDF
TL;DR我们提出了 ExtraNeRF，一种用于推断神经辐射场（NeRF）视角范围的新方法。我们的主要思想是利用 NeRF 模型场景特定的细节，同时利用扩散模型推断我们观察数据之外的区域。关键是通过跟踪可见性来确定没有被观察到的场景部分，并且使用扩散模型一致地重建这些区域。我们的主要贡献包括根据输入影像进行微调的可见性感知扩散填充模块，产生质量适中的 NeRF 和模糊的填充区域，然后使用第二个扩散模型在输入影像上进行培训，以一致地增强填充图像，并显著增强其锐度。我们展示了高质量的结果，可以通过少量的（通常为六个或更少）输入视图进行推断，有效地扩展 NeRF，并填充原始视图体内的新脱离的区域。我们在定量和定性上与相关工作进行比较，并展示了超过先前技术的显著增益。
extranerfneural radiance fieldextrapolationdiffusion modelsvisibility-aware inpainting
发现论文，激发创造
  • NeRFReN: 具有反射特性的神经辐射场

    该研究提出了 NeRFReN，它是基于 NeRF 的，能够建模带有反射的场景，并将场景分为透射和反射组件，用单独的神经辐射场来建模两个组件，以实现高质量的新视图综合和深度估计结果。

    Nov, 2021

  • 基于语义掩模和扩散模型的 NeRF 编辑

    本文提出了一种新颖的框架，可以利用扩散模型实现对神经场景中的 3D 内容进行编辑，此方法可以有效地改善 NeRF 的可编辑性、多样性和应用范围，验证结果表明在不同的文本提示下，该算法对 NeRF 中的 3D 目标具有改进的效果。

    Jun, 2023

  • NeRF++：分析和改进神经辐射场

    通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进，使其在 360° 的拍摄模式下提高拍摄质量。

    Oct, 2020

  • 神经辐射场修复的潜在扩散模型驯服

    我们提出了一种新的框架，通过对扩散模型的温和性进行个性化设置并使用掩蔽对抗训练来缓解图像条件中的文本移位问题，从而解决了使用 NeRF 进行重建时遇到的几个问题，并在各种真实场景上实现了最先进的 NeRF 修复结果。

    Apr, 2024

  • Ref-NeRF: 神经辐射场的结构化视角依赖外观

    Ref-NeRF 通过替换 NeRF 的视角相关的出射辐射参数化为反射辐射参数来提高 NeRF 方法表示高光表面外观的准确性，并且使用一系列空间变化场景属性来构造该函数结构，同时结合法线向量的正则化，可以实现更加真实和准确的高光反射，此外，我们的模型的内部表示也具有可解释性，用于场景编辑。

    Dec, 2021

  • 使用 2D 扩散模型对 3D 神经辐射场进行编辑的 Edit-DiffNeRF

    本文提出了一种名为 Edit-DiffNeRF 的框架，通过对已经训练好的扩散模型的潜在语义空间进行微调以有效地合并这些指令，从而实现对 3D 场景的微调，同时通过多视图语义一致性损失确保在不同的视图中重建潜在的语义嵌入。

    Jun, 2023

  • Enhance-NeRF: 神经辐射场的多重性能评估

    该研究通过提出 Enhance-NeRF 模型，增强神经放射场（NeRF）在虚拟现实和增强现实等领域的三维重建应用，改进了场景识别和学习能力，有望广泛应用于照明、材质和形状的室外场景重建，具备插拔式的易用性，并能够与其他 NeRF-based 模型轻松集成。

    Jun, 2023

  • IntrinsicNeRF: 学习可编辑的内在神经辐射场进行新视角合成

    通过引入本质表征分解的内在神经辐射场 (IntrinsicNeRF) 模型，将 NeRF 神经渲染方法的应用扩展到基于房间尺度的场景中；基于点采样和反射迭代聚类优化的方法使 IntrinsicNeRF 模型可以在无监督的环境下具备传统本质分解约束条件，并展示了在面对具有挑战性序列时，其具有相对稳定的本质分解结果和高保真度的新视角生成效果。

    Oct, 2022

  • Inpaint4DNeRF: 具有生成扩散模型的可提示的时空 NeRF 补全

    利用生成模型 Inpaint4DNeRF，该论文提出了一种基于稳定扩散模型（如 ControlNet）的直接生成方法，在编辑由 NeRF 表示的三维场景时，生成底层完成的背景内容，不论是静态还是动态，以实现 NeRF 修复的双重优势：通过生成种子图像和它们的三维代理，我们可以分别生成一小部分包含合理内容的完成图像，然后在所有完成图像中进行三维多视图一致性维护。

    Dec, 2023

  • NeRF 详解：学习采样进行视图合成

    作者提出了基于可微分不可视模块的 NeRF-ID 方法，该方法可以优化粗到精的采样策略，得到比 NeRF 和当前最先进算法更好的视图合成质量，并且显著降低计算时间。

    Jun, 2021