Drone-NeRF:大规模无人机勘测的高效 NeRF 基于的三维场景重建
针对大规模场景重构的问题,我们引入了 BirdNeRF,这是 Neural Radiance Fields(NeRF)的一种适应型设计,专门用于利用航拍图像进行场景重构。与以前的研究集中在小规模和以物体为中心的 NeRF 重建不同,我们的方法解决了多个挑战,包括:(1) 解决了大型模型训练和渲染速度慢的问题;(2) 满足了对建模大量图像的计算需求,需要高性能 GPU 等大量资源;(3) 克服了由于模型容量有限而导致的大规模重建任务中常见的显著伪影和低视觉保真度问题。具体而言,我们提出了一种基于鸟瞰姿态的空间分解算法,将大型航拍图像集分解为多个具有适当重叠的小集合,使我们能够训练子场景的独立 NeRFs。该分解方法不仅将渲染时间与场景大小解耦,还使得渲染能够无缝地扩展到任意大的环境中。此外,它允许对环境进行块级别的更新,提高了重建过程的灵活性和适应性。此外,我们提出了一种投影引导的新视角重新渲染策略,有助于有效利用独立训练的子场景生成优秀的渲染结果。我们在现有数据集以及我们自己的无人机拍摄素材上对我们的方法进行了评估,在单个 GPU 上提高了 10 倍于经典的摄影测量软件和 50 倍于最先进的大规模 NeRF 解决方案的重建速度,并具有类似的渲染质量。
Feb, 2024
利用神经辐射场(NeRFs)建立大规模的高楼或多个城市街区跨度的交互式 3D 环境,研究通过分析可见性统计信息,提出特殊化参数不同区域的稀疏网络结构、基于几何聚类的数据并行算法,并对 NeRF 快速渲染程序提出了新方法,有效解决了训练速度和渲染速度等多项挑战。
Dec, 2021
本文介绍了一种新型的优化算法 DroNeRF,用于通过少量图像实现单目相机无人机在物体周围自主定位,实现实时三维重建。文章使用 Neural Radiance Fields 或 NeRF,以只依赖于物体几何学而不使用任何外部定位系统的方式计算单个无人机的最佳姿态,并评估了生成的新视图的质量,表现出更好的感知度。
Mar, 2023
通过将场景自适应地细分为轴对齐的包围盒,并使用树层次结构方法将较小的 NeRF 分配给不同大小的子空间,该论文提出了一种有效的适应性多 NeRF 方法,以加速针对复杂场景的神经渲染过程,以实现对特定场景部分的精细神经表示。
Oct, 2023
本文提出 EfficientNeRF,一种高效的基于 NeRF 的方法,用于表示 3D 场景和合成新视图图像。通过在粗略和精细阶段分别提出有效的和关键的采样方法,以显著提高采样效率。同时,设计一种新的数据结构来加速整个场景的缓存以加速渲染速度。结果表明,本方法可以缩短 88% 以上的训练时间,实现超过 200 FPS 的渲染速度,而仍保持竞争力的准确性,从而促进 NeRF 在现实世界中的实际应用和推广。
Jun, 2022
基于 Neural Radiance Fields (NeRF) 的大规模航拍渲染模型 Aerial-NeRF 在适应不同飞行轨迹、提高渲染性能和覆盖整个建筑物等方面进行了三项创新性的改进,通过广泛实验证明了 Aerial-NeRF 的有效性和高效性,并在两个公开的大规模航拍数据集以及 SCUTic 数据集上取得了新的最先进结果,相比其他竞争者,我们的模型能够以 4 倍的速度进行渲染。
May, 2024
NeRFusion 提出了一种方法,通过将 NeRF 和 TSDF-based fusion 技术结合起来,实现了大规模室内场景的高效重建和逼真渲染,使用全新的循环神经网络来递增地重建实时稀疏场景表示,进一步提高了渲染质量,取得了大规模室内和小型物体场景的最先进质量,并比 NeRF 和其他最新方法重建速度更快。
Mar, 2022
该研究提出了一个新的框架用于实现对大型城市场景的高保真渲染,该框架运用了一种简化的多分辨率地面特征平面表示来捕捉场景,并通过另一个 NeRF 分支的位置编码输入进行补充,以联合学习的方式进行渲染。
Mar, 2023
该论文介绍了一种新的基于神经网络点云的辐射场模型 ——Point-NeRF,它结合了 NeRF 和深度多视图立体成像两种方法的优点,可用于高质量的视图合成和快速的场景几何重建。Point-NeRF 可以通过射线行走的渲染管道有效地渲染神经点特征,相对于 NeRF 具有快速训练和处理 3D 重建错误和异常数据的优势。
Jan, 2022