CVPRJun, 2024

多层平面引导的少样本空中景观渲染

PDF
TL;DR在这项研究中，我们介绍了一种专为少量航拍场景渲染量身定制的新方法，即多平面先验引导的神经辐射场模型（MPNeRF）。我们的关键洞察是航拍图像固有的几何规律可以加强稀疏航拍场景的神经辐射场模型。通过研究神经辐射场模型和多平面图像的行为，我们提出使用多平面先验指导神经辐射场模型的训练过程。通过引入 SwinV2 Transformer 和使用 SimMIM 进行预训练，我们的实验结果表明，MPNeRF 在非航拍环境中的性能超过了现有的最先进方法，即使只有三个视图可用，也可以将 SSIM 和 LPIPS 的性能提升三倍。希望我们的工作能为航拍场景中基于神经辐射场模型的应用开发提供启示。
neural radiance fieldsaerial scenesmultiplane prior guided nerfsparse aerial scenesfew-shot aerial scene rendering
发现论文，激发创造
  • Aerial-NeRF：大规模航空渲染的自适应空间划分和采样

    基于 Neural Radiance Fields (NeRF) 的大规模航拍渲染模型 Aerial-NeRF 在适应不同飞行轨迹、提高渲染性能和覆盖整个建筑物等方面进行了三项创新性的改进，通过广泛实验证明了 Aerial-NeRF 的有效性和高效性，并在两个公开的大规模航拍数据集以及 SCUTic 数据集上取得了新的最先进结果，相比其他竞争者，我们的模型能够以 4 倍的速度进行渲染。

    May, 2024

  • Drone-NeRF：大规模无人机勘测的高效 NeRF 基于的三维场景重建

    我们提出了 Drone-NeRF 框架，通过使用神经辐射场（NeRF）来增强适用于无人机倾斜摄影的无界大规模场景的高效重建，将场景根据摄像机位置和深度可见性划分为均匀的子块，在 NeRF 的并行训练中训练子场景，然后合并为完整场景，通过优化相机姿态和引导 NeRF 使用均匀采样器来完善模型，集成选择的样本提高准确性，哈希编码融合 MLP 加速密度表示，生成 RGB 和深度输出，该框架解决了与场景复杂性、渲染效率和无人机获取图像准确性相关的挑战，展示了有前景的能力。

    Aug, 2023

  • 大规模航拍图像中的神经辐射场（NeRF）实现 —— 多切分方法和 NeRF 的几何评估

    通过增加位置特定的采样技术和多镜头分块策略，我们在大规模航拍数据集上扩展了 Neural Radiance Fields (NeRF) 模型，并对 NeRF 的几何特性进行了全面评估。我们的方法 Mip-NeRF 在几何性能上相较于传统方法具有更好的完整性和物体细节，但目前仍然在准确度方面存在不足。

    Oct, 2023

  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022

  • Mega-NeRF：构建大规模 NeRF 以用于虚拟飞行

    利用神经辐射场（NeRFs）建立大规模的高楼或多个城市街区跨度的交互式 3D 环境，研究通过分析可见性统计信息，提出特殊化参数不同区域的稀疏网络结构、基于几何聚类的数据并行算法，并对 NeRF 快速渲染程序提出了新方法，有效解决了训练速度和渲染速度等多项挑战。

    Dec, 2021

  • 自适应多 NeRF：利用自适应多尺度神经辐射场渲染中的高效并行性

    通过将场景自适应地细分为轴对齐的包围盒，并使用树层次结构方法将较小的 NeRF 分配给不同大小的子空间，该论文提出了一种有效的适应性多 NeRF 方法，以加速针对复杂场景的神经渲染过程，以实现对特定场景部分的精细神经表示。

    Oct, 2023

  • MultiPlaneNeRF: 具有非可训练表示的神经辐射场

    本文介绍了 MultiPlaneNeRF 模型，该模型可从 2D 图像中直接产生非可训练的表示，并可通过大量数据的训练来实现推广，以及在生成新视角方面达到业界领先水平。

    May, 2023

  • ViP-NeRF：稀疏输入神经辐射场的可见性先验

    通过使用可靠的可见性先验计算，对 NeRF 模型进行训练和重构，实现了对场景的高质量视角转换，相较于传统的基于深度估计的约束方法有显著提升。

    Apr, 2023

  • 从航空影像进行深度监督的神经表面重建

    通过将深度先验与 Neural Radiance Fields（NeRFs）相结合，我们调查了 NeRFs 在航空图像块表示不同特征的能力，并将其与公开可用的航空图像基准数据集的结果进行了比较。

    Apr, 2024

  • 从稀疏的输入视图推断神经辐射场的密集深度先验

    本文提出了一种利用深度先验来优化神经光辐射场模型的新方法，可在使用尽可能少的输入图像进行室内场景的数据有效的新视角合成中实现高保真度。

    Dec, 2021