Apr, 2024

AG-NeRF：用于多高度大规模室外场景渲染的注意力引导神经辐射场

PDF
TL;DR提出了一种名为 AG-NeRF 的端到端框架，通过合成根据不同高度的场景生成自由视角图像，从而降低构建良好重建模型的训练成本，并通过源图像选择方法和基于注意力的特征融合方法来解决从低高度到高高度的细节变化问题，实验证明 AG-NeRF 在多个评估基准上达到了 SOTA 水平，并且仅需半小时的训练时间与最新的 BungeeNeRF 相比便可达到竞争性的峰值信噪比。
neural radiance fieldsnovel view synthesisag-nerffree-viewpoint imagesattention-based feature fusion
发现论文，激发创造
  • 利用高程数据改进 NeRF 模型以利用 GIS 数据

    本文提出一种基于高度数据的神经放射场方法用于重建大规模场景，将场景空间分为多个对象和背景，通过分别使用神经网络表示这些对象来改善渲染图像的精度和训练速度。

    Jul, 2023

  • Mega-NeRF：构建大规模 NeRF 以用于虚拟飞行

    利用神经辐射场（NeRFs）建立大规模的高楼或多个城市街区跨度的交互式 3D 环境，研究通过分析可见性统计信息，提出特殊化参数不同区域的稀疏网络结构、基于几何聚类的数据并行算法，并对 NeRF 快速渲染程序提出了新方法，有效解决了训练速度和渲染速度等多项挑战。

    Dec, 2021

  • SC-NeRF：具有稀疏视角的自校正神经辐射场

    本研究针对室外场景中的视点变化及分布偏移问题，提出了基于多头注意机制的几何校正模块和外观校正模块，通过结合这些模块，成功解决了室外场景泛化的挑战，并提供了高质量渲染结果。

    Sep, 2023

  • Drone-NeRF：大规模无人机勘测的高效 NeRF 基于的三维场景重建

    我们提出了 Drone-NeRF 框架，通过使用神经辐射场（NeRF）来增强适用于无人机倾斜摄影的无界大规模场景的高效重建，将场景根据摄像机位置和深度可见性划分为均匀的子块，在 NeRF 的并行训练中训练子场景，然后合并为完整场景，通过优化相机姿态和引导 NeRF 使用均匀采样器来完善模型，集成选择的样本提高准确性，哈希编码融合 MLP 加速密度表示，生成 RGB 和深度输出，该框架解决了与场景复杂性、渲染效率和无人机获取图像准确性相关的挑战，展示了有前景的能力。

    Aug, 2023

  • BirdNeRF：用于大规模场景的快速神经重构航空影像

    针对大规模场景重构的问题，我们引入了 BirdNeRF，这是 Neural Radiance Fields（NeRF）的一种适应型设计，专门用于利用航拍图像进行场景重构。与以前的研究集中在小规模和以物体为中心的 NeRF 重建不同，我们的方法解决了多个挑战，包括：(1) 解决了大型模型训练和渲染速度慢的问题；(2) 满足了对建模大量图像的计算需求，需要高性能 GPU 等大量资源；(3) 克服了由于模型容量有限而导致的大规模重建任务中常见的显著伪影和低视觉保真度问题。具体而言，我们提出了一种基于鸟瞰姿态的空间分解算法，将大型航拍图像集分解为多个具有适当重叠的小集合，使我们能够训练子场景的独立 NeRFs。该分解方法不仅将渲染时间与场景大小解耦，还使得渲染能够无缝地扩展到任意大的环境中。此外，它允许对环境进行块级别的更新，提高了重建过程的灵活性和适应性。此外，我们提出了一种投影引导的新视角重新渲染策略，有助于有效利用独立训练的子场景生成优秀的渲染结果。我们在现有数据集以及我们自己的无人机拍摄素材上对我们的方法进行了评估，在单个 GPU 上提高了 10 倍于经典的摄影测量软件和 50 倍于最先进的大规模 NeRF 解决方案的重建速度，并具有类似的渲染质量。

    Feb, 2024

  • GSNeRF: 增强的通用语义神经辐射场与 3D 场景理解

    使用多视图输入合成新视图图像，神经辐射场（NeRF）已成为三维视觉中的热门研究课题。本文提出了一种具有一般化语义神经辐射场（GSNeRF）的方法，该方法独特地将图像语义纳入合成过程中，从而能够对未见场景生成新视图图像和相关的语义地图。我们的 GSNeRF 由两个阶段组成：语义地理推理和深度引导的视觉渲染。前者能够从场景中观察多视图图像输入，提取语义和几何特征。在后者的指导下，利用得到的图像几何信息，进行图像和语义渲染，从而提高性能。我们的实验证实了 GSNeRF 在新视图图像和语义分割合成方面优于先前的工作，并进一步验证了我们的采样策略的有效性。

    Mar, 2024

  • 大城市场景的网格引导神经辐射场

    该研究提出了一个新的框架用于实现对大型城市场景的高保真渲染，该框架运用了一种简化的多分辨率地面特征平面表示来捕捉场景，并通过另一个 NeRF 分支的位置编码输入进行补充，以联合学习的方式进行渲染。

    Mar, 2023

  • BungeeNeRF：逐层递进的神经辐射场用于极端多尺度场景渲染

    BungeeNeRF is introduced to address the issues of level-of-detail rendering in multi-scale Neural Radiance Fields in real-world 3D environments with drastically varying views and yields superior modeling results on various data sources.

    Dec, 2021

  • Aerial-NeRF：大规模航空渲染的自适应空间划分和采样

    基于 Neural Radiance Fields (NeRF) 的大规模航拍渲染模型 Aerial-NeRF 在适应不同飞行轨迹、提高渲染性能和覆盖整个建筑物等方面进行了三项创新性的改进，通过广泛实验证明了 Aerial-NeRF 的有效性和高效性，并在两个公开的大规模航拍数据集以及 SCUTic 数据集上取得了新的最先进结果，相比其他竞争者，我们的模型能够以 4 倍的速度进行渲染。

    May, 2024

  • 从航空影像进行深度监督的神经表面重建

    通过将深度先验与 Neural Radiance Fields（NeRFs）相结合，我们调查了 NeRFs 在航空图像块表示不同特征的能力，并将其与公开可用的航空图像基准数据集的结果进行了比较。

    Apr, 2024