利用特征渲染进行 6D 物体姿态估计的 NeRF-Feat
基于图像的姿态估计方法,结合 NeRF 技术实现了实时的机器人应用,通过建立 2D-3D 对应关系和改进的点挖掘策略提高了准确性,并且在代表性数据集上的实验结果表明,相比于现有方法,推断效率提高了 90 倍,能够以 6 帧每秒的速度进行实时预测。
Apr, 2024
该论文引入了一种基于神经辐射场(NeRFs)的新方法,用于生成逼真的多视角训练数据。通过 NeRFs 创建了多样化的室内和室外多视角数据集,并利用透视投影几何指导下的最先进的特征检测器和描述器进行训练。实验证明,该方法在相对位姿估计、点云配准和单应性估计等标准基准测试上达到了竞争性或更优的性能,并且相较于现有方法需要更少的训练数据。
Mar, 2024
本文提出将新视角合成应用于机器人重定位问题,通过 NeRF 类算法所渲染的额外合成数据集,从内部表示的三维场景几何形态中选择虚拟相机位置,进一步改进了姿态回归器的定位精度,结果大幅降低了 Cambridge 地标和 7 景数据集的误差,并将精度与基于结构的方法相媲美,无需架构修改或领域适应性约束,因为该方法允许几乎无限产生训练数据,我们调查了在公共基准数据集上进行训练所使用的数据大小和分布对相机姿态回归的限制,得出结论,姿态回归精度在很大程度上受到相对较小且有偏的数据集的限制,而非姿态回归模型解决本地化任务的能力。同时,采用合成的逼真且具有几何一致性的图像进行数据增强。
Oct, 2021
通过在 NeRF 框架中使用单目 3D 重建技术、姿态估计和物体中心化的 NeRF 等方法,本文提出了 UPNeRF 一种统一框架,可以实时地进行单目三维物体重建,并且在 nuScenes、KITTI 和 Waymo 数据集上取得了具有最先进的重建和姿态估计结果,缩小了旋转和平移误差达 50%。
Mar, 2024
iNeRF 是一种基于 “倒置” 神经辐射场(NeRF)的框架,它可以通过合成图像与观察图像像素之间的残差最小化来实现无网格姿态估计。实验表明,iNeRF 可以应用于复杂的真实场景中,还可以执行目录级别物体姿态估计。
Dec, 2020
本文评估了使用受限的真实世界数据来训练神经辐射场中的单个对象表示的质量,并介绍了一种将场景分解成多个基于对象的 NeRF 的流水线,使用嘈杂的对象实例掩码和边界框,并评估了该流水线对噪声位姿、实例掩码和训练图像数量的敏感性。
Apr, 2022
本文提出了一种名为 LU-NeRF 的方法,通过利用放松姿态配置的放松姿态配置来同时估计相机姿态和神经辐射场,通过局部到全局的优化和姿态同步等步骤, 在一般的 SE(3)姿态设置下,无需对姿态先验进行强制约束,相比先前无姿态配置进行的 NeRF 试验表现更佳,这也使得其为特征基于的 SfM 管道提供了互补的选择。
Jun, 2023
本文提出了一种使用对比学习和隐式姿态嵌入的 3D 感知生成对抗网络优化技术。通过重新设计鉴别器,从而消除对基准相机姿态的依赖性,使其更好地捕捉给定图像的隐式姿态嵌入,并在姿态嵌入上进行对比学习,实验结果表明在多个物体类别和不一致的基准相机姿态数据集上显著优于现有方法。
Apr, 2023
利用 Neural Radiance Fields (NeRFs) 训练高分辨率 3D 重建,包括使用 HoloLens 数据提取内部摄像机姿态和通过结构光运动提取外部摄像机姿态,两者均通过姿态优化得到改善;结果表明,相较于传统的 Multi-View Stereo 密集重构方法,在完整性和细节层面上,NeRF 重建表现更好。
Apr, 2023