Apr, 2024

NeRF2Points: 街景视图中大规模点云生成的辐射场优化

PDF
TL;DR本研究论文采用 Neural Radiance Fields 方法，从城市景观图像中导出点云，并通过相机姿态的精确性、自动驾驶汽车采集的街景数据特点、以及新的算法（WIGO 和 LPiM 等）来解决相关挑战。
发现论文，激发创造
  • 基于点的神经辐射场模型：Point-NeRF

    该论文介绍了一种新的基于神经网络点云的辐射场模型 ——Point-NeRF，它结合了 NeRF 和深度多视图立体成像两种方法的优点，可用于高质量的视图合成和快速的场景几何重建。Point-NeRF 可以通过射线行走的渲染管道有效地渲染神经点特征，相对于 NeRF 具有快速训练和处理 3D 重建错误和异常数据的优势。

    Jan, 2022

  • S-NeRF：街景的神经辐射场

    本文提出了一种新的街景神经辐射场模型（S-NeRF），它考虑了大规模背景场景和前景移动车辆的新视角合成，通过改进场景参数化函数和学习更好的神经表示来应对现有 NeRF 模型在街景合成中出现的问题，并使用嘈杂和稀疏的 LiDAR 点来提高训练的鲁棒性和减少深度奇异值出现的情况。我们的 S-NeRF 模型在各种大规模驾驶数据集上的实验证明了它优于现有最先进方法在街景合成中减少了 7％至 40％的均方误差，并在移动车辆渲染的 PSNR 方面获得了 45％的增益。

    Mar, 2023

  • PointNeRF++: 多尺度、基于点的神经辐射场

    使用多尺度稀疏体素网格聚合点云，平均多个尺度以克服点云稀疏性，在全局尺度加入体素表示模拟无点区域，并在 NeRF 合成、ScanNet 和 KITTI-360 数据集上验证方法，显著优于现有技术。

    Dec, 2023

  • 众包 NeRF：从生产车辆中收集数据进行 3D 街景重建

    借助大规模众包数据的神经光辐射场（NeRF）重建框架，解决了大规模重建中的数据获取问题，并利用这些数据训练 NeRF 模型生成高质量的 3D 场景。

    Jun, 2024

  • DiL-NeRF：透视街景中的激光雷达神经辐射场探究

    利用 Lidar 数据改善街景下基于神经辐射场的光线追踪和视图合成技术。

    May, 2024

  • Mega-NeRF：构建大规模 NeRF 以用于虚拟飞行

    利用神经辐射场（NeRFs）建立大规模的高楼或多个城市街区跨度的交互式 3D 环境，研究通过分析可见性统计信息，提出特殊化参数不同区域的稀疏网络结构、基于几何聚类的数据并行算法，并对 NeRF 快速渲染程序提出了新方法，有效解决了训练速度和渲染速度等多项挑战。

    Dec, 2021

  • 通过辐射映射提升点云渲染效果

    本文旨在提升点云渲染的图像质量。我们基于容积渲染公式及空间映射的分析，简化 NeRF 表示为只需每像素一次评估的空间映射函数。同时，本文还提出了用射线行进法对嘈杂的原始点云进行矫正，以避免空间频率崩溃和邻域点干扰。我们的方法在点云渲染方面取得了最先进的性能，使用更小的模型尺寸优于之前的研究，其中包括 NeRF-Synthetic（31.74），ScanNet（25.88）和 DTU（30.81）的 PSNR。

    Oct, 2022

  • 利用点云生成进行近表面采样的神经辐射场改进

    该论文提出了一种改进 NeRF 渲染质量的近表面采样框架，通过估计 3D 场景的表面，只在表面周围进行采样，从而提高了渲染质量，并且能够显著加速 NeRF 模型的训练时间。

    Oct, 2023

  • NeRF 监督的特征点检测与描述

    该论文引入了一种基于神经辐射场（NeRFs）的新方法，用于生成逼真的多视角训练数据。通过 NeRFs 创建了多样化的室内和室外多视角数据集，并利用透视投影几何指导下的最先进的特征检测器和描述器进行训练。实验证明，该方法在相对位姿估计、点云配准和单应性估计等标准基准测试上达到了竞争性或更优的性能，并且相较于现有方法需要更少的训练数据。

    Mar, 2024

  • 使用神经辐射场生成逼真的 LiDAR 点云

    利用实际数据和图像，我们提出了一种新的 LiDAR 模拟方法 NeRF-LiDAR 用于生成真实的 LiDAR 点云，以便更有效地训练和验证自动驾驶算法，并可以通过预训练来提高准确性。

    Apr, 2023