SRPose:稀疏关键点的双视图相对位姿估计
本文提出了一种基于卷积神经网络的方法来估计两个相机之间的相对姿态,该方法采用来自两个相机的 RGB 图像作为输入,并直接输出相对旋转和平移。与 SURF、ORB 这些广泛使用的局部特征方法相比较,该方法采用端到端的方式训练,利用大规模分类数据集进行迁移学习,结果表明相对基准线有明显的改进。此外,本文还介绍了一种包含空间金字塔池化 (SPP) 层的网络结构变体,并证明进一步提高了性能。
Feb, 2017
提出了一种使用深度神经网络处理RGB-D扫描数据的方法,该方法可以处理极端的相对位姿变换,且在相对位姿估计和场景完成方面都达到了更好的效果。
Dec, 2018
本文提出DirectionNet模型,通过预测5D相对位姿空间上的离散分布来改进相机位姿回归,实现将相机姿态分解为3D方向向量并在球面上估算离散分布。我们从Matterport3D和InteriorNet构建的具有挑战性的综合和真实姿态估计数据集中评估了我们的模型,结果表明我们的方法比直接回归大大减少了误差。(Translation: This paper proposes DirectionNet model to improve camera pose regression by predicting a discrete distribution over the 5D relative pose space. DirectionNet factorizes relative camera pose to a set of 3D direction vectors and estimates the distribution on the sphere, resulting in a significant error reduction compared to direct regression methods, as evaluated on challenging synthetic and real pose estimation datasets constructed from Matterport3D and InteriorNet.)
Jun, 2021
本研究提出SRT3D,一种基于稀疏区域的方法,利用预先呈现的稀疏视点模型和基于新的牛顿优化方法的后验概率,实现纹理极少物体在场景中的快速而准确的运动跟踪。
Oct, 2021
我们提出了一种估计已标定图像对之间相对位姿的方法,通过综合利用点、线及它们在混合方式下的重合情况。我们研究了这些数据模态可以共同使用的所有可能配置,并回顾了文献中可用的最小求解器。我们的混合框架结合了所有配置的优点,在具有挑战性的环境中实现了稳健准确的估计。此外,我们设计了一种方法,可以联合估计两幅图像中的多个消失点对应,并进行了包括所有相关数据模态的束调整。各种室内外数据集上的实验证明我们的方法优于基于点的方法,在可比速度下将AUC@10°提升了1-7个点。解算器和混合框架的源代码将公开发布。
Sep, 2023
用RGB-D参考图像的2.5D形状、现成可微分渲染器以及DINOv2预训练模型提取的语义线索为基础,无需标记和训练,提出了一种新颖的可推广的三维相对姿态估计方法,通过渲染与对比新的RGB和语义地图,实现了只需单个RGB-D参考图像可用于未见过的对象的姿态估计。
Jun, 2024
本研究解决了单目物体姿态估计中对准确2D-3D对应关系的依赖问题,传统方法常需昂贵的CAD模型。我们提出的SGPose框架通过随机立方体初始化和高斯方法进行稀疏视图下的物体姿态估计,成功消除了对CAD模型的需求。实验表明,SGPose在稀疏视图限制下超越了现有方法,展现出其在现实应用中的潜力。
Sep, 2024