从合成的场景图进行的跨视图自定位
本文提出将新视角合成应用于机器人重定位问题,通过 NeRF 类算法所渲染的额外合成数据集,从内部表示的三维场景几何形态中选择虚拟相机位置,进一步改进了姿态回归器的定位精度,结果大幅降低了 Cambridge 地标和 7 景数据集的误差,并将精度与基于结构的方法相媲美,无需架构修改或领域适应性约束,因为该方法允许几乎无限产生训练数据,我们调查了在公共基准数据集上进行训练所使用的数据大小和分布对相机姿态回归的限制,得出结论,姿态回归精度在很大程度上受到相对较小且有偏的数据集的限制,而非姿态回归模型解决本地化任务的能力。同时,采用合成的逼真且具有几何一致性的图像进行数据增强。
Oct, 2021
本研究提出利用全局和局部特征构建表达式三维模型的方法,通过训练 MLP 网络,实现从单个未定位图像中合成新视角,并在多个物体类别上进行泛化,获得了比现有方法更出色的性能和更丰富的细节渲染。
Jul, 2022
本文提出了一种名为 Cross-Ray NeRF 的方法,通过利用交互信息合成视野,在处理过场景图像时能有效地减少遮挡和幽灵物体等问题。
Jul, 2023
通过在 Neural Radiance Field 中引入深度感知一致性,利用分层表示构建多平面图像上的神经网络,并通过约束不同输入视图的渲染颜色和深度来规范未见目标视图,我们提出的方法能够在合成质量上超越现有方法。
Feb, 2024
本研究提出使用神经辐射场(NeRF)作为视觉定位的场景表示,通过利用 NeRF 的内部特征建立精确的 2D-3D 匹配来提升定位性能。通过研究 NeRF 的隐式知识和探索不同的匹配网络架构、提取多层的编码器特征以及多种训练配置,引入了 NeRFMatch 作为高级的 2D-3D 匹配函数,并在 Cambridge Landmarks 等标准定位基准上取得了业界领先的定位性能。
Mar, 2024
本文介绍了一种基于神经辐射场(NeRF)的方法,用于从单个 360 度 RGB-D 图像合成新景象,并利用 2D 图像生成模型,最大权重独立集问题和模拟退火等算法,以优化生成的图像。
Mar, 2022
本研究针对室外场景中的视点变化及分布偏移问题,提出了基于多头注意机制的几何校正模块和外观校正模块,通过结合这些模块,成功解决了室外场景泛化的挑战,并提供了高质量渲染结果。
Sep, 2023
多任务视觉学习的创新问题设置,将多任务预测重新解释为多个新视角综合任务,使用 MuvieNeRF 框架同时综合多个场景属性,通过 Cross-Task Attention 和 Cross-View Attention 模块实现对多个视角和任务的高效信息利用。
Sep, 2023
通过统一基于点的表示,本文提出了一种新颖的视觉定位框架 PNeRFLoc,结合传统的基于结构的方法和基于渲染的优化,利用神经辐射场(NeRF)模型与视觉定位的特征进行融合,以提高定位准确性和效率。在处理合成数据时表现出最佳性能,并在视觉定位基准数据集上与现有最先进方法持平。
Dec, 2023