Jul, 2024

IE-NeRF: 野外增强神经光辐射场的修复

HTML
PDF
TL;DR我们提出了一种使用自然辐射场（Neural Radiance Fields，NeRF）与野外无控制照片进行合成逼真新视图的新方法。我们的方法通过从图像修复技术中汲取灵感，扩展了NeRF的多层感知器（MLP），使其能够同时生成内在属性（静态颜色、密度）和外在瞬时掩蔽。我们引入了一个修补模块，利用瞬时掩蔽来有效排除遮挡，从而提高体积渲染质量。此外，我们提出了一种新的训练策略，并通过频率正则化来解决低频瞬时成分的稀疏问题。我们在互联网地标照片集合上对我们的方法进行评估，展示了其生成高质量新视图并达到最先进性能的能力。
发现论文，激发创造
  • 野外的NeRF: 用于无约束照片集合的神经辐射场

    本论文提出了一种基于学习的方法，利用无组织的野外照片合成复杂场景的新视图，并介绍了一系列扩展NeRF的方法以解决自然图像中的一些问题，最终成功地构建了名称为NeRF-W的系统，能够从互联网上的无组织照片集合中重建场景并呈现接近于照片现实主义水平的合成视图。

    Aug, 2020

  • NeRF++：分析和改进神经辐射场

    通过NeRF的方法来实现对于图像的View Synthesis, 本文提到了NeRF的成功之处以及在应用于大规模无界三维场景中进行改进，使其在360°的拍摄模式下提高拍摄质量。

    Oct, 2020

  • Ref-NeRF: 神经辐射场的结构化视角依赖外观

    Ref-NeRF通过替换NeRF的视角相关的出射辐射参数化为反射辐射参数来提高NeRF方法表示高光表面外观的准确性，并且使用一系列空间变化场景属性来构造该函数结构，同时结合法线向量的正则化，可以实现更加真实和准确的高光反射，此外，我们的模型的内部表示也具有可解释性，用于场景编辑。

    Dec, 2021

  • Aug-NeRF：利用三级基于物理学的扩展训练更强大的神经辐射场

    本研究提出了一种名为Aug-NeRF的增强型神经辐射场模型，它利用鲁棒的数据增强技术来加强NeRF的训练，从而提高其在新视角合成和几何重建方面的表现，并且可以从严重受损的图像中恢复场景。

    Jul, 2022

  • 参考引导型可控神经辐射场修复

    本文提出了一种使用神经辐射场（NeRF）编辑工具进行图像修补的方法，仅需要一个修补后的场景参考视图和模板，通过新颖的渲染技术和基于图像修补工具的方法，可以在非参考视图上构造视图相关的效果，提供了更好的修补性能和用户控制。

    Apr, 2023

  • BeyondPixels：神经辐射场演变的综合综述

    本文综述了近年来神经辐射场（NeRF）技术在3D渲染和视角合成领域的最新研究进展和其不同的架构设计。

    Jun, 2023

  • 重新 Nerfing: 通过新视角合成对神经辐射场施加几何约束

    通过 Re-Nerfing 方法，我们在 Neural Radiance Fields 的基础上使用多阶段的方法增加场景的覆盖范围，提高新视角的几何一致性，并通过新合成的图像实现结构和极线约束的优化，对 mip-NeRF 360 数据集进行的实验证明了 Re-Nerfing 的有效性。

    Dec, 2023

  • Inpaint4DNeRF: 具有生成扩散模型的可提示的时空 NeRF 补全

    利用生成模型Inpaint4DNeRF，该论文提出了一种基于稳定扩散模型（如ControlNet）的直接生成方法，在编辑由NeRF表示的三维场景时，生成底层完成的背景内容，不论是静态还是动态，以实现NeRF修复的双重优势：通过生成种子图像和它们的三维代理，我们可以分别生成一小部分包含合理内容的完成图像，然后在所有完成图像中进行三维多视图一致性维护。

    Dec, 2023

  • CombiNeRF: 一种结合正则化技术的少样本神经辐射场视角合成方法

    在本文中，我们提出了CombiNeRF，一个将多种正则化技术综合起来的框架，以统一各种正则化技术的优势，并在几个公开数据集上展示了在少样本情况下超越最先进方法的性能。

    Mar, 2024

  • 神经辐射场修复的潜在扩散模型驯服

    我们提出了一种新的框架，通过对扩散模型的温和性进行个性化设置并使用掩蔽对抗训练来缓解图像条件中的文本移位问题，从而解决了使用NeRF进行重建时遇到的几个问题，并在各种真实场景上实现了最先进的NeRF修复结果。

    Apr, 2024