Mar, 2024

学习神经体积位姿特征用于相机定位

PDF
TL;DR引入了一种新颖的神经体姿态特征 ——PoseMap，旨在通过囊括图像之间和相关摄像机姿态之间的信息增强摄像机定位能力。该框架利用了绝对姿态回归（APR）架构和增强的 NeRF 模块，不仅有助于生成丰富的训练数据集来丰富训练，在线自监督对齐的扩展还能允许该方法在无标签图像上使用和微调。实验证明，我们的方法在室内和室外基准场景上平均性能分别提高了 14.28% 和 20.51%，超过了现有的具有最先进精度的 APR 方法。
neural volumetric pose featureposemapcamera localizationabsolute pose regressionself-supervised online alignment
发现论文，激发创造
  • DFNet：使用直接特征匹配增强绝对姿态回归

    本篇研究提出了一种相机重新定位的方法，它通过绝对姿态回归和直接特征匹配相结合，并加入曝光自适应的新视角合成，成功地解决了现有基于光度的方法无法处理的室外环境中的光度变形问题。

    Apr, 2022

  • 基于地图的姿态回归视觉重定位

    相对于已知环境，姿态回归网络通过预测查询图像的相机姿态。我们提出了一种新的姿态回归方法，地图相对姿态回归（marepo），通过使用场景特定的地图表示，将姿态回归器的预测相对于场景地图。我们的方法在室内和室外两个公共数据集上远远优于之前的姿态回归方法。

    Apr, 2024

  • 相机姿态自编码器 —— 改善姿态回归

    本文介绍相机姿态自编码器（PAEs）的使用，在使用 APR 作为教师模型的情况下，使用教师 - 学生方法对其进行多层感知机神经网络的训练。我们表明，使用这种编码器时，可以获得与 APR 相当的姿态表示效果，并且展示了在相关任务中它们的有效性，同时提出了一种轻量级测试时间优化方法。通过对数据集 CambridgeLandmarks 和 7Scenes 的测试，该方法取得了新的最佳位置精度。

    Jul, 2022

  • 融合来自运动结构和光流模拟姿势回归的算法用于具有挑战性室内环境

    本文提出了一种使用相对位移回归来规范绝对位姿估计的新方法，采用递归融合神经网络来更好地整合绝对和相对估计姿态，实验结果表明这种方法比使用姿态图优化的方法更为有效。

    Apr, 2023

  • LENS: 借助 NeRF 合成增强的本地化

    本文提出将新视角合成应用于机器人重定位问题，通过 NeRF 类算法所渲染的额外合成数据集，从内部表示的三维场景几何形态中选择虚拟相机位置，进一步改进了姿态回归器的定位精度，结果大幅降低了 Cambridge 地标和 7 景数据集的误差，并将精度与基于结构的方法相媲美，无需架构修改或领域适应性约束，因为该方法允许几乎无限产生训练数据，我们调查了在公共基准数据集上进行训练所使用的数据大小和分布对相机姿态回归的限制，得出结论，姿态回归精度在很大程度上受到相对较小且有偏的数据集的限制，而非姿态回归模型解决本地化任务的能力。同时，采用合成的逼真且具有几何一致性的图像进行数据增强。

    Oct, 2021

  • 利用等变特征进行绝对位姿回归

    本研究通过使用平移及旋转等变卷积神经网络来将相机运动的表示直接归纳为特征空间，从而证明了直接学习等变特征优于学习中间表示，并表明我们的轻量级模型在标准数据集上优于现有模型。

    Apr, 2022

  • ViPR: 基于视觉里程计辅助的 6 自由度相机定位姿态回归

    提出了一种使用深度学习技术的长期机器人导航方法 ViPR，通过结合绝对位姿估计和相对位姿估计，利用时序信息和模块化的设计，并在已知数据集和工业数据集上取得了较好的效果。

    Dec, 2019

  • 神经隐式特征场的自监督学习用于相机姿态细化

    通过在同一度量空间中嵌入图像特征提取器和体积特征场，通过对比框架对齐体积特征与图像特征并利用学习的表面信息对后者进行正则化，本文提出了一种联合学习场景表示、体积渲染和特征场设计的方法，用于视觉定位，并在真实场景中验证了该方法的有效性。

    Jun, 2024

  • KS-APR: 鲁棒绝对位姿回归的关键帧选择

    KS-APR 是一种用于 Markerless Mobile Augmented Reality 的 pipeline，通过结合 APR 的推断结果和训练集中的先验图像来评估估计位姿的可靠性，从而提高可靠性和准确性，适用于不需要一次性决策的视觉定位任务。

    Aug, 2023

  • 利用特征渲染进行 6D 物体姿态估计的 NeRF-Feat

    从弱标记数据中学习姿态估计的方法，通过使用 NeRF 隐式学习物体形状，结合 CNN 使用对比损失学习视图不变特征，从而估计姿态。

    Jun, 2024