众包 NeRF:从生产车辆中收集数据进行 3D 街景重建
本文提出了一种新的街景神经辐射场模型(S-NeRF),它考虑了大规模背景场景和前景移动车辆的新视角合成,通过改进场景参数化函数和学习更好的神经表示来应对现有 NeRF 模型在街景合成中出现的问题,并使用嘈杂和稀疏的 LiDAR 点来提高训练的鲁棒性和减少深度奇异值出现的情况。我们的 S-NeRF 模型在各种大规模驾驶数据集上的实验证明了它优于现有最先进方法在街景合成中减少了 7%至 40%的均方误差,并在移动车辆渲染的 PSNR 方面获得了 45%的增益。
Mar, 2023
本研究论文采用 Neural Radiance Fields 方法,从城市景观图像中导出点云,并通过相机姿态的精确性、自动驾驶汽车采集的街景数据特点、以及新的算法(WIGO 和 LPiM 等)来解决相关挑战。
Apr, 2024
我们提出了 Drone-NeRF 框架,通过使用神经辐射场(NeRF)来增强适用于无人机倾斜摄影的无界大规模场景的高效重建,将场景根据摄像机位置和深度可见性划分为均匀的子块,在 NeRF 的并行训练中训练子场景,然后合并为完整场景,通过优化相机姿态和引导 NeRF 使用均匀采样器来完善模型,集成选择的样本提高准确性,哈希编码融合 MLP 加速密度表示,生成 RGB 和深度输出,该框架解决了与场景复杂性、渲染效率和无人机获取图像准确性相关的挑战,展示了有前景的能力。
Aug, 2023
DecentNeRF 是第一次尝试的去中心化、众包的神经辐射场(NeRFs),与集中式方法相比,它在训练过程中减少了服务器计算成本,并通过将用户的 3D 视图分解为个人和全局 NeRFs 以及一种新颖的最优加权聚合,实现学习具有照片级真实感的场景表示。它在结构化合成和真实世界照片旅游数据集上验证了我们的方法学习 NeRFs 具有照片级真实感和最小的服务器计算成本,并进一步分析了 DecentNeRF 中全局 NeRFs 的安全聚合如何最小化服务器对个人内容的不良重建。
Mar, 2024
利用神经辐射场(NeRFs)建立大规模的高楼或多个城市街区跨度的交互式 3D 环境,研究通过分析可见性统计信息,提出特殊化参数不同区域的稀疏网络结构、基于几何聚类的数据并行算法,并对 NeRF 快速渲染程序提出了新方法,有效解决了训练速度和渲染速度等多项挑战。
Dec, 2021
该论文介绍了一种新的基于神经网络点云的辐射场模型 ——Point-NeRF,它结合了 NeRF 和深度多视图立体成像两种方法的优点,可用于高质量的视图合成和快速的场景几何重建。Point-NeRF 可以通过射线行走的渲染管道有效地渲染神经点特征,相对于 NeRF 具有快速训练和处理 3D 重建错误和异常数据的优势。
Jan, 2022
本论文提出了一种基于学习的方法,利用无组织的野外照片合成复杂场景的新视图,并介绍了一系列扩展 NeRF 的方法以解决自然图像中的一些问题,最终成功地构建了名称为 NeRF-W 的系统,能够从互联网上的无组织照片集合中重建场景并呈现接近于照片现实主义水平的合成视图。
Aug, 2020
针对大规模场景重构的问题,我们引入了 BirdNeRF,这是 Neural Radiance Fields(NeRF)的一种适应型设计,专门用于利用航拍图像进行场景重构。与以前的研究集中在小规模和以物体为中心的 NeRF 重建不同,我们的方法解决了多个挑战,包括:(1) 解决了大型模型训练和渲染速度慢的问题;(2) 满足了对建模大量图像的计算需求,需要高性能 GPU 等大量资源;(3) 克服了由于模型容量有限而导致的大规模重建任务中常见的显著伪影和低视觉保真度问题。具体而言,我们提出了一种基于鸟瞰姿态的空间分解算法,将大型航拍图像集分解为多个具有适当重叠的小集合,使我们能够训练子场景的独立 NeRFs。该分解方法不仅将渲染时间与场景大小解耦,还使得渲染能够无缝地扩展到任意大的环境中。此外,它允许对环境进行块级别的更新,提高了重建过程的灵活性和适应性。此外,我们提出了一种投影引导的新视角重新渲染策略,有助于有效利用独立训练的子场景生成优秀的渲染结果。我们在现有数据集以及我们自己的无人机拍摄素材上对我们的方法进行了评估,在单个 GPU 上提高了 10 倍于经典的摄影测量软件和 50 倍于最先进的大规模 NeRF 解决方案的重建速度,并具有类似的渲染质量。
Feb, 2024