Sep, 2023

基于神经光辐射场的大规模场景建模的联邦学习

PDF
TL;DR我们提出了一个基于神经辐射场（NeRF）的系统，以生命周期学习的方式使用来自车辆和无人机收集的数据持续构建和维护一张地球规模的地图。为了解决现有的 NeRF 大规模建模存在的可扩展性和可维护性问题，我们提出了一个适用于 NeRF 的大规模建模的联邦学习流程，并针对 NeRF 的模型聚合流程进行了定制，从而允许局部更新。在聚合步骤中，客户端的全局姿态的准确性至关重要。因此，在聚合步骤之前，我们还提出了全局姿态对齐以调整客户端的嘈杂全局姿态。在实验中，我们展示了所提出的姿态对齐和联邦学习流程在大规模场景数据集 Mill19 上的有效性。
neural radiance fieldslifelong learninglarge-scale modelingfederated learningglobal pose alignment
发现论文，激发创造
  • 联邦神经辐射场

    本文提出了一种 Federated Learning 算法，利用低秩分解技术实现了多计算节点之间共同学习 NeRF，同时解决了数据集隐私的问题。

    May, 2023

  • NeRFusion: 大规模场景重建中径流场融合

    NeRFusion 提出了一种方法，通过将 NeRF 和 TSDF-based fusion 技术结合起来，实现了大规模室内场景的高效重建和逼真渲染，使用全新的循环神经网络来递增地重建实时稀疏场景表示，进一步提高了渲染质量，取得了大规模室内和小型物体场景的最先进质量，并比 NeRF 和其他最新方法重建速度更快。

    Mar, 2022

  • 全球引导的焦点神经辐射场用于大规模场景渲染

    提出了一种全球引导的焦点神经辐射场 (GF-NeRF)，利用两阶段结构和全球引导的训练策略，在大规模场景中实现高保真度的渲染结果。

    Mar, 2024

  • Drone-NeRF：大规模无人机勘测的高效 NeRF 基于的三维场景重建

    我们提出了 Drone-NeRF 框架，通过使用神经辐射场（NeRF）来增强适用于无人机倾斜摄影的无界大规模场景的高效重建，将场景根据摄像机位置和深度可见性划分为均匀的子块，在 NeRF 的并行训练中训练子场景，然后合并为完整场景，通过优化相机姿态和引导 NeRF 使用均匀采样器来完善模型，集成选择的样本提高准确性，哈希编码融合 MLP 加速密度表示，生成 RGB 和深度输出，该框架解决了与场景复杂性、渲染效率和无人机获取图像准确性相关的挑战，展示了有前景的能力。

    Aug, 2023

  • NeRF 融合：基于 NeRF 的大规模场景表示

    本文介绍了一种名为 NeRFuser 的架构，它可以在不需要访问大量用于生成它们的图像集的情况下，对 NeRF（神经辐射场）进行注册和混合。NeRFuser 使用 re-rendering 技术进行注册，提出了基于采样的反距离加权进行混合，经实验证明具有鲁棒性。

    May, 2023

  • Mega-NeRF：构建大规模 NeRF 以用于虚拟飞行

    利用神经辐射场（NeRFs）建立大规模的高楼或多个城市街区跨度的交互式 3D 环境，研究通过分析可见性统计信息，提出特殊化参数不同区域的稀疏网络结构、基于几何聚类的数据并行算法，并对 NeRF 快速渲染程序提出了新方法，有效解决了训练速度和渲染速度等多项挑战。

    Dec, 2021

  • 大城市场景的网格引导神经辐射场

    该研究提出了一个新的框架用于实现对大型城市场景的高保真渲染，该框架运用了一种简化的多分辨率地面特征平面表示来捕捉场景，并通过另一个 NeRF 分支的位置编码输入进行补充，以联合学习的方式进行渲染。

    Mar, 2023

  • UE4-NeRF: 大规模场景实时渲染的神经辐射场

    该论文介绍了一个名为 UE4-NeRF 的神经渲染系统，专门用于实时渲染大规模场景，并通过将场景分区并进行顶点优化、与 UE4 的光栅化流水线相结合等方法，实现了在 4K 分辨率下以每秒 43 帧的帧率进行实时渲染，并获得了与最先进方法相媲美的渲染质量。

    Oct, 2023

  • BirdNeRF：用于大规模场景的快速神经重构航空影像

    针对大规模场景重构的问题，我们引入了 BirdNeRF，这是 Neural Radiance Fields（NeRF）的一种适应型设计，专门用于利用航拍图像进行场景重构。与以前的研究集中在小规模和以物体为中心的 NeRF 重建不同，我们的方法解决了多个挑战，包括：(1) 解决了大型模型训练和渲染速度慢的问题；(2) 满足了对建模大量图像的计算需求，需要高性能 GPU 等大量资源；(3) 克服了由于模型容量有限而导致的大规模重建任务中常见的显著伪影和低视觉保真度问题。具体而言，我们提出了一种基于鸟瞰姿态的空间分解算法，将大型航拍图像集分解为多个具有适当重叠的小集合，使我们能够训练子场景的独立 NeRFs。该分解方法不仅将渲染时间与场景大小解耦，还使得渲染能够无缝地扩展到任意大的环境中。此外，它允许对环境进行块级别的更新，提高了重建过程的灵活性和适应性。此外，我们提出了一种投影引导的新视角重新渲染策略，有助于有效利用独立训练的子场景生成优秀的渲染结果。我们在现有数据集以及我们自己的无人机拍摄素材上对我们的方法进行了评估，在单个 GPU 上提高了 10 倍于经典的摄影测量软件和 50 倍于最先进的大规模 NeRF 解决方案的重建速度，并具有类似的渲染质量。

    Feb, 2024

  • SiLVR: 大规模激光雷达视觉重建与神经辐射场用于机器人检测

    本研究提出了一种基于神经场的大规模重建系统，它利用激光雷达和视觉数据生成几何精确且具有照片级真实纹理的高质量重建，同时使用激光雷达 SLAM 系统提供深度和表面法线的强几何约束来改进传统的神经辐射场表示方法。

    Mar, 2024