神经 RGB-D 表面重建
该研究通过统一的方式制定了表面和体渲染,从而使得无需任何输入蒙版即可实现准确表面重建,并通过实验证明其能够在各方面都优于 NeRF 方法并与 IDR 方法相媲美。
Apr, 2021
基于 NeRFs 的成功,近年来在新颖视角合成领域取得了显著进展。然而,虽然视图合成模型在视觉上看起来很真实,但其底层的 3D 模型通常是错误的,这限制了它们在实际应用中的有效性。本技术报告介绍了视图合成模型和 3D 重建模型之间的关键区别,并指出了使用深度传感器进行准确几何建模的重要性。通过扩展 Plenoxel 辐射场模型,我们对基于 RGB-D 数据的辐射场密集建图和跟踪任务提出了一种分析微分方法,实现了优于竞争神经网络方法的最新成果,并具有更快的速度。
Jul, 2023
使用混合的神经辐射场(HybridNeRF)方法,将大多数对象作为表面渲染,同时以体积化的方式对挑战性区域进行建模,以提高视图合成的质量和实时性。
Dec, 2023
该研究提出使用隐式密度场而非神经辐射场作为图像的几何场景表示,通过自监督训练神经网络能够在单个前向传递中预测该场景表示,并且可以在深度预测和新视角合成方面进行体积渲染。实验表明,该方法能够预测出输入图像中遮挡区域的有意义几何信息。
Jan, 2023
通过将深度先验与 Neural Radiance Fields(NeRFs)相结合,我们调查了 NeRFs 在航空图像块表示不同特征的能力,并将其与公开可用的航空图像基准数据集的结果进行了比较。
Apr, 2024
MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化,以提高所估计表面的质量。实验结果表明,该方法可以从图像中获取干净的三维网格,同时在新视角合成方面具有竞争力的表现。
Oct, 2022
本文提出通过联合训练隐式函数和新的粗球面基础表面重构方法解决多视角三维重建中高频细节重建效率低下的问题,并将其应用到多种隐式表面建模方法的训练过程中,从而获得在合成数据和实际数据集上的统一改进。
Sep, 2022
通过使用一阶微分特性 (即,表面法线),本文展示了训练神经表示形成高准确度的 3D 表面重建,即使只有两个 RGB 视图可用,极大地改善了以前难以捕捉的复杂几何细节和薄结构。
Jun, 2024
利用多模态数据结合深度学习模型进行密集三维重建,从而提高自动驾驶中的标注验证、数据扩充、缺失 LiDAR 系统的地面真值注释以及自动标记准确性的应用效果。
Feb, 2024
通过构建多尺度编码体积和提供多尺度几何信息给 NeRF 模型,本文在新颖视角合成和密集几何建模方面提出了一种先进行深度预测和辐射场重建,以使构建的体积尽可能接近场景中物体的表面和渲染的深度更准确,然后通过深度引导的邻域特征融合,提高点体积特征的质量,从而实现了对场景进行优化而不是对单个场景优化的结果。
Jul, 2023