大规模航拍图像中的神经辐射场（NeRF）实现 —— 多切分方法和 NeRF 的几何评估

Oct, 2023

大规模航拍图像中的神经辐射场（NeRF）实现 —— 多切分方法和 NeRF 的几何评估

Enabling Neural Radiance Fields (NeRF) for Large-scale Aerial Images -- A Multi-tiling Approaching and the Geometry Assessment of NeRF

PDF

Ningli Xu, Rongjun Qin, Debao Huang, Fabio Remondino

TL;DR通过增加位置特定的采样技术和多镜头分块策略，我们在大规模航拍数据集上扩展了 Neural Radiance Fields (NeRF) 模型，并对 NeRF 的几何特性进行了全面评估。我们的方法 Mip-NeRF 在几何性能上相较于传统方法具有更好的完整性和物体细节，但目前仍然在准确度方面存在不足。

Abstract

neural radiance fields (NeRF) offer the potential to benefit 3D reconstruction tasks, including aerial photogrammetry. However, the scalability and accuracy of the inferred geometry are not well-documented for large-scale aerial assets,since such datasets usually result in very high me

neural radiance fields large-scale aerial datasets geometry assessment multi-camera tiling mip-nerf

发现论文，激发创造

Mega-NeRF：构建大规模 NeRF 以用于虚拟飞行

利用神经辐射场（NeRFs）建立大规模的高楼或多个城市街区跨度的交互式 3D 环境，研究通过分析可见性统计信息，提出特殊化参数不同区域的稀疏网络结构、基于几何聚类的数据并行算法，并对 NeRF 快速渲染程序提出了新方法，有效解决了训练速度和渲染速度等多项挑战。

Dec, 2021

Drone-NeRF：大规模无人机勘测的高效 NeRF 基于的三维场景重建

我们提出了 Drone-NeRF 框架，通过使用神经辐射场（NeRF）来增强适用于无人机倾斜摄影的无界大规模场景的高效重建，将场景根据摄像机位置和深度可见性划分为均匀的子块，在 NeRF 的并行训练中训练子场景，然后合并为完整场景，通过优化相机姿态和引导 NeRF 使用均匀采样器来完善模型，集成选择的样本提高准确性，哈希编码融合 MLP 加速密度表示，生成 RGB 和深度输出，该框架解决了与场景复杂性、渲染效率和无人机获取图像准确性相关的挑战，展示了有前景的能力。

Aug, 2023

BirdNeRF：用于大规模场景的快速神经重构航空影像

针对大规模场景重构的问题，我们引入了 BirdNeRF，这是 Neural Radiance Fields（NeRF）的一种适应型设计，专门用于利用航拍图像进行场景重构。与以前的研究集中在小规模和以物体为中心的 NeRF 重建不同，我们的方法解决了多个挑战，包括：(1) 解决了大型模型训练和渲染速度慢的问题；(2) 满足了对建模大量图像的计算需求，需要高性能 GPU 等大量资源；(3) 克服了由于模型容量有限而导致的大规模重建任务中常见的显著伪影和低视觉保真度问题。具体而言，我们提出了一种基于鸟瞰姿态的空间分解算法，将大型航拍图像集分解为多个具有适当重叠的小集合，使我们能够训练子场景的独立 NeRFs。该分解方法不仅将渲染时间与场景大小解耦，还使得渲染能够无缝地扩展到任意大的环境中。此外，它允许对环境进行块级别的更新，提高了重建过程的灵活性和适应性。此外，我们提出了一种投影引导的新视角重新渲染策略，有助于有效利用独立训练的子场景生成优秀的渲染结果。我们在现有数据集以及我们自己的无人机拍摄素材上对我们的方法进行了评估，在单个 GPU 上提高了 10 倍于经典的摄影测量软件和 50 倍于最先进的大规模 NeRF 解决方案的重建速度，并具有类似的渲染质量。

Feb, 2024

自适应多 NeRF：利用自适应多尺度神经辐射场渲染中的高效并行性

通过将场景自适应地细分为轴对齐的包围盒，并使用树层次结构方法将较小的 NeRF 分配给不同大小的子空间，该论文提出了一种有效的适应性多 NeRF 方法，以加速针对复杂场景的神经渲染过程，以实现对特定场景部分的精细神经表示。

Oct, 2023

大城市场景的网格引导神经辐射场

该研究提出了一个新的框架用于实现对大型城市场景的高保真渲染，该框架运用了一种简化的多分辨率地面特征平面表示来捕捉场景，并通过另一个 NeRF 分支的位置编码输入进行补充，以联合学习的方式进行渲染。

Mar, 2023

金字塔神经辐射场 PyNeRF

通过在不同空间网格分辨率上训练模型头部，我们对基于网格的模型进行简单修改，以实现容易的扩展，提高渲染质量和性能效率。

Nov, 2023

Aerial-NeRF：大规模航空渲染的自适应空间划分和采样

基于 Neural Radiance Fields (NeRF) 的大规模航拍渲染模型 Aerial-NeRF 在适应不同飞行轨迹、提高渲染性能和覆盖整个建筑物等方面进行了三项创新性的改进，通过广泛实验证明了 Aerial-NeRF 的有效性和高效性，并在两个公开的大规模航拍数据集以及 SCUTic 数据集上取得了新的最先进结果，相比其他竞争者，我们的模型能够以 4 倍的速度进行渲染。

May, 2024

利用 Torch 单元的神经辐射场

提出了一种名为 Torch-NeRF 的新方法，通过扩大光线感知领域和构建样本点交互来提高神经辐射场在复杂场景中的重建性能。

Apr, 2024

多空间神经辐射场

我们提出了一种多空间神经辐射场（MS-NeRF），通过在并行子空间中表示场景的特征场组，以更好地理解神经网络对具有反射和折射性物体的存在的情况，从而实现了对现有 NeRF 方法的增强，且仅需要小的计算开销。在由 25 个合成场景和 7 个具有复杂反射和折射的真实捕捉场景组成的新颖构建数据集上进行的比较表明，我们的方法比现有的单空间 NeRF 方法在渲染复杂光路的镜像对象的高质量场景方面表现显著优于现有的单空间 NeRF 方法。

May, 2023

从多视角几何学中学习神经辐射场

MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

Oct, 2022