CVPRMar, 2023

Nerflets: 基于局部辐射场的 2D 监督下高效结构感知的 3D 场景表示

PDF
TL;DR本研究探讨了从图像中高效和结构感知的三维场景表示。通过引入 nerflets 这一本地神经辐射场的概念，我们实现了通过光度和探测到的视角信息来共同优化 nerflets 的参数，进而形成场景的分解表示，并能够通过任意视角提取全景和光度渲染，支持 3D 全景分割、交互式编辑等任务。
3d scene representationnerfletsneural radiance fieldspanoptic renderinginteractive editing
发现论文，激发创造
  • Nerfies: 可变形神经辐射场

    描述了一种基于神经辐射场的方法，通过优化连续的体形变场使移动设备拍摄的照片 / 视频重建变形场景，旨在生成高度逼真的渲染图像。实验表明，该方法可使用手机拍摄的自拍照片 / 视频转换成可变形的 NeRF 模型，并在任意视点产生高保真度的视图。

    Nov, 2020

  • 利用 Torch 单元的神经辐射场

    提出了一种名为 Torch-NeRF 的新方法，通过扩大光线感知领域和构建样本点交互来提高神经辐射场在复杂场景中的重建性能。

    Apr, 2024

  • 神经辐射场的配对对齐

    介绍了一种基于神经辐射场的配对注册技术，通过引入表面场的概念与鲁棒优化的算法来实现 NeRF 场景的配准，该技术可以应用于不同领域的任务。

    Nov, 2022

  • 神经辐射场（NeRFs）：综述与一些最近的发展

    Neural Radiance Field (NeRF) is a framework representing a 3D scene with MLP, achieving state-of-the-art photorealistic image renderings for view synthesis and expanding capabilities to generate views from dynamic scene representations with fewer images for training.

    Apr, 2023

  • 使用有条件的神经辐射场进行视觉定位的 NeRF-Loc

    本文提出了一种新颖的基于 3D 场景描述符和转换器与 2D 图像进行直接匹配的视觉重新定位方法，NeRF 作为 3D 场景表示，在统一特征匹配和场景坐标回归的同时，本模型在两个训练阶段学习可推广的知识和场景先验知识。此外，为了提高本模型在训练和测试间的鲁棒性，本文提出了一个外观适应层来明确地对齐 3D 模型和查询图像。实验证明，本方法在多个基准测试上实现了比其他基于学习的方法更高的定位精度。

    Apr, 2023

  • HyperNeRF：用于拓扑变化的高维神经辐射场表示

    本文提出了一种新的三维场景重建方法 HyperNeRF，通过将 NeRF 升维，将每个输入图像对应的五维辐射场表示为该 “超空间” 中的一片，从而解决了现有变形场模型在处理拓扑变化时的困难。实验表明，HyperNeRF 在平滑插值和新视角合成方面皆优于 Nerfies，平均误差率分别降低了 4.1％和 8.6％。

    Jun, 2021

  • NeRF++：分析和改进神经辐射场

    通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进，使其在 360° 的拍摄模式下提高拍摄质量。

    Oct, 2020

  • 分布式神经辐射场模型：基于众包图像的去中心化实现

    DecentNeRF 是第一次尝试的去中心化、众包的神经辐射场（NeRFs），与集中式方法相比，它在训练过程中减少了服务器计算成本，并通过将用户的 3D 视图分解为个人和全局 NeRFs 以及一种新颖的最优加权聚合，实现学习具有照片级真实感的场景表示。它在结构化合成和真实世界照片旅游数据集上验证了我们的方法学习 NeRFs 具有照片级真实感和最小的服务器计算成本，并进一步分析了 DecentNeRF 中全局 NeRFs 的安全聚合如何最小化服务器对个人内容的不良重建。

    Mar, 2024

  • 野外的 NeRF: 用于无约束照片集合的神经辐射场

    本论文提出了一种基于学习的方法，利用无组织的野外照片合成复杂场景的新视图，并介绍了一系列扩展 NeRF 的方法以解决自然图像中的一些问题，最终成功地构建了名称为 NeRF-W 的系统，能够从互联网上的无组织照片集合中重建场景并呈现接近于照片现实主义水平的合成视图。

    Aug, 2020

  • NeRF 融合：基于 NeRF 的大规模场景表示

    本文介绍了一种名为 NeRFuser 的架构，它可以在不需要访问大量用于生成它们的图像集的情况下，对 NeRF（神经辐射场）进行注册和混合。NeRFuser 使用 re-rendering 技术进行注册，提出了基于采样的反距离加权进行混合，经实验证明具有鲁棒性。

    May, 2023