Oct, 2023

PERF：从单个全景图生成全景神经辐射场

PDF
TL;DR本文提出了一个由单个全景图训练出的全景神经辐射场模型（PERF）用于 360 度全景图的新视角合成，其中采用了一种协作 RGBD 修复方法和逐步修复和删除的策略，实现了在复杂场景中的 3D 漫游。该方法在 Replica 数据集和 PERF-in-the-wild 数据集上进行了广泛实验证明了其优越性，并可广泛应用于全景图转 3D、文本转 3D 和 3D 场景风格化等实际应用中。
neural radiance fieldnovel view synthesis360-degree panoramic scenarioscollaborative rgbd inpaintinginpainting-and-erasing strategy
发现论文，激发创造
  • 在 360 度世界中移动：从单个全景合成全景视差

    OmnineRF 是第一个将视差功能应用于新型全景视图合成方法，通过在不同虚拟相机位置的不同 2D 全景坐标系之间进行前后投影，从而可以优化一个全向神经辐射场并实现全向视角下固定中心的可见像素的集合，以估算来自不同相机位置的新视角的图像渲染效果。

    Jun, 2021

  • NeRF++：分析和改进神经辐射场

    通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进，使其在 360° 的拍摄模式下提高拍摄质量。

    Oct, 2020

  • Pano-NeRF：从稀疏低动态范围全景图像合成具有几何图形的高动态范围新视点

    稀疏低动态范围（LDR）全景图像中辐照度场的模型提高了几何恢复和高动态范围（HDR）重建的能力，并且在实验证明了其有效性。

    Dec, 2023

  • 利用全向图像完善技术提高新视角合成质量

    本文介绍了一种基于神经辐射场（NeRF）的方法，用于从单个 360 度 RGB-D 图像合成新景象，并利用 2D 图像生成模型，最大权重独立集问题和模拟退火等算法，以优化生成的图像。

    Mar, 2022

  • Enhance-NeRF: 神经辐射场的多重性能评估

    该研究通过提出 Enhance-NeRF 模型，增强神经放射场（NeRF）在虚拟现实和增强现实等领域的三维重建应用，改进了场景识别和学习能力，有望广泛应用于照明、材质和形状的室外场景重建，具备插拔式的易用性，并能够与其他 NeRF-based 模型轻松集成。

    Jun, 2023

  • psPRF：用于广义三维重建卫星图像的全平面神经辐射场

    该论文介绍了一种针对卫星传感器的低分辨率 RGB 图像和高分辨率全色图像的 Planar 神经辐射场（psPRF），通过采用显式的光谱到空间卷积（SSConv）来增强多模态表示能力，并采用投影损失来支持 psPRF 的泛化能力，该方法在多场景的 WorldView-3 数据集上取得了最先进的性能。

    Jun, 2024

  • 使用深度感知优化提高神经辐射场用于新景深合成

    SfMNeRF 提出了一种基于神经辐射场的方法，结合自监督深度估计方法对样本进行重构，同时利用极线和光度一致性等约束构建 3D 场景几何图像，提高了神经辐射场的表现，实现了更好地合成新视角。

    Apr, 2023

  • 基于点的神经辐射场模型：Point-NeRF

    该论文介绍了一种新的基于神经网络点云的辐射场模型 ——Point-NeRF，它结合了 NeRF 和深度多视图立体成像两种方法的优点，可用于高质量的视图合成和快速的场景几何重建。Point-NeRF 可以通过射线行走的渲染管道有效地渲染神经点特征，相对于 NeRF 具有快速训练和处理 3D 重建错误和异常数据的优势。

    Jan, 2022

  • MSI-NeRF: 通过多球面图像辅助的泛化神经辐射场将全景深度与视图合成连接

    通过深度学习的全景深度估计和新视角渲染，本研究提出了 MSI-NeRF 方法，能够在虚拟现实应用中保留和利用原始鱼眼相机中的视差信息，实现全景的深度估计和六自由度视角合成。

    Mar, 2024

  • RustNeRF：低质量图像下的鲁棒神经辐射场

    本文通过 RustNeRF 算法提出了一种实现在现实世界中高质量三维模型合成的方法，通过利用实际影像退化建模、隐式多视图引导等实现了对 NeRF 训练模型的改进。实验结果表明 RustNeRF 方法在面对实际影像退化时表现出更好的鲁棒性。

    Jan, 2024