CVPRDec, 2021

Mega-NeRF：构建大规模 NeRF 以用于虚拟飞行

PDF
TL;DR利用神经辐射场（NeRFs）建立大规模的高楼或多个城市街区跨度的交互式 3D 环境，研究通过分析可见性统计信息，提出特殊化参数不同区域的稀疏网络结构、基于几何聚类的数据并行算法，并对 NeRF 快速渲染程序提出了新方法，有效解决了训练速度和渲染速度等多项挑战。
neural radiance fieldsinteractive 3d environmentslarge-scale visual capturessparse network structurefast rendering
发现论文，激发创造
  • BirdNeRF：用于大规模场景的快速神经重构航空影像

    针对大规模场景重构的问题，我们引入了 BirdNeRF，这是 Neural Radiance Fields（NeRF）的一种适应型设计，专门用于利用航拍图像进行场景重构。与以前的研究集中在小规模和以物体为中心的 NeRF 重建不同，我们的方法解决了多个挑战，包括：(1) 解决了大型模型训练和渲染速度慢的问题；(2) 满足了对建模大量图像的计算需求，需要高性能 GPU 等大量资源；(3) 克服了由于模型容量有限而导致的大规模重建任务中常见的显著伪影和低视觉保真度问题。具体而言，我们提出了一种基于鸟瞰姿态的空间分解算法，将大型航拍图像集分解为多个具有适当重叠的小集合，使我们能够训练子场景的独立 NeRFs。该分解方法不仅将渲染时间与场景大小解耦，还使得渲染能够无缝地扩展到任意大的环境中。此外，它允许对环境进行块级别的更新，提高了重建过程的灵活性和适应性。此外，我们提出了一种投影引导的新视角重新渲染策略，有助于有效利用独立训练的子场景生成优秀的渲染结果。我们在现有数据集以及我们自己的无人机拍摄素材上对我们的方法进行了评估，在单个 GPU 上提高了 10 倍于经典的摄影测量软件和 50 倍于最先进的大规模 NeRF 解决方案的重建速度，并具有类似的渲染质量。

    Feb, 2024

  • Drone-NeRF：大规模无人机勘测的高效 NeRF 基于的三维场景重建

    我们提出了 Drone-NeRF 框架，通过使用神经辐射场（NeRF）来增强适用于无人机倾斜摄影的无界大规模场景的高效重建，将场景根据摄像机位置和深度可见性划分为均匀的子块，在 NeRF 的并行训练中训练子场景，然后合并为完整场景，通过优化相机姿态和引导 NeRF 使用均匀采样器来完善模型，集成选择的样本提高准确性，哈希编码融合 MLP 加速密度表示，生成 RGB 和深度输出，该框架解决了与场景复杂性、渲染效率和无人机获取图像准确性相关的挑战，展示了有前景的能力。

    Aug, 2023

  • Aerial-NeRF：大规模航空渲染的自适应空间划分和采样

    基于 Neural Radiance Fields (NeRF) 的大规模航拍渲染模型 Aerial-NeRF 在适应不同飞行轨迹、提高渲染性能和覆盖整个建筑物等方面进行了三项创新性的改进，通过广泛实验证明了 Aerial-NeRF 的有效性和高效性，并在两个公开的大规模航拍数据集以及 SCUTic 数据集上取得了新的最先进结果，相比其他竞争者，我们的模型能够以 4 倍的速度进行渲染。

    May, 2024

  • Block-NeRF: 可扩展的大场景神经视角合成

    Block-NeRF 是神经辐射场的变种，可以有效表示大规模环境，将场景分解成 NeRF 可以将渲染时间与场景大小分离，使渲染可以扩展到任意大的环境，并允许环境进行每个块更新。通过引入外观嵌入，学习的姿态细化和可控的曝光，以及介绍邻接 NeRF 之间对齐外观的程序，我们采用数种架构变化使 NeRF 对不同环境条件下多个月采集的数据具有鲁棒性。通过 280 万张图像构建 Block-NeRF 的网格，创建迄今为止最大的神经场景表示，能够渲染旧金山整个社区。

    Feb, 2022

  • UE4-NeRF: 大规模场景实时渲染的神经辐射场

    该论文介绍了一个名为 UE4-NeRF 的神经渲染系统，专门用于实时渲染大规模场景，并通过将场景分区并进行顶点优化、与 UE4 的光栅化流水线相结合等方法，实现了在 4K 分辨率下以每秒 43 帧的帧率进行实时渲染，并获得了与最先进方法相媲美的渲染质量。

    Oct, 2023

  • 自适应多 NeRF：利用自适应多尺度神经辐射场渲染中的高效并行性

    通过将场景自适应地细分为轴对齐的包围盒，并使用树层次结构方法将较小的 NeRF 分配给不同大小的子空间，该论文提出了一种有效的适应性多 NeRF 方法，以加速针对复杂场景的神经渲染过程，以实现对特定场景部分的精细神经表示。

    Oct, 2023

  • BungeeNeRF：逐层递进的神经辐射场用于极端多尺度场景渲染

    BungeeNeRF is introduced to address the issues of level-of-detail rendering in multi-scale Neural Radiance Fields in real-world 3D environments with drastically varying views and yields superior modeling results on various data sources.

    Dec, 2021

  • 大规模航拍图像中的神经辐射场（NeRF）实现 —— 多切分方法和 NeRF 的几何评估

    通过增加位置特定的采样技术和多镜头分块策略，我们在大规模航拍数据集上扩展了 Neural Radiance Fields (NeRF) 模型，并对 NeRF 的几何特性进行了全面评估。我们的方法 Mip-NeRF 在几何性能上相较于传统方法具有更好的完整性和物体细节，但目前仍然在准确度方面存在不足。

    Oct, 2023

  • EfficientNeRF: 高效神经辐射场

    本文提出 EfficientNeRF，一种高效的基于 NeRF 的方法，用于表示 3D 场景和合成新视图图像。通过在粗略和精细阶段分别提出有效的和关键的采样方法，以显著提高采样效率。同时，设计一种新的数据结构来加速整个场景的缓存以加速渲染速度。结果表明，本方法可以缩短 88% 以上的训练时间，实现超过 200 FPS 的渲染速度，而仍保持竞争力的准确性，从而促进 NeRF 在现实世界中的实际应用和推广。

    Jun, 2022

  • 超平面：用于快速 NeRF 自适应的超网络方法

    提出了一种基于超网络范例的少样本学习方法，通过从训练数据中收集信息并生成通用权重的更新，实现了从少量图像中一步生成高质量的 3D 物体表示的高效方法。通过与最先进的解决方案进行直接比较以及全面的剔除研究，证实了该方法的有效性。

    Feb, 2024