本文介绍了一种能够从 RGB 图像中检测三维物体和估计六自由度姿态的新型深度学习方法,称为 DPOD。该方法估计输入图像和可用的三维模型之间的密集多类二维三维对应关系图,通过 PnP 和 RANSAC 计算六自由度姿态,并使用基于深度学习的自定义方案对初始姿态估计进行了 RGB 姿态优化。与其他主要使用真实数据进行训练且不对合成渲染进行训练的方法不同,我们对合成数据和真实训练数据进行评估,显示出在所有最近的检测器中,此方法无论先前和后面都能够获得优异的结果。虽然具有精度,但本方法仍然具有实时性能。
Feb, 2019
本文提出了 DenseFusion 框架,使用异构网络结构从 RGB-D 图像中估计已知物体的 6D 位姿,并通过端对端迭代位姿细化进一步提高了姿态估计的精度和实时性。实验结果表明,我们的方法在 YCB-Video 和 LineMOD 数据集上优于现有方法,并在实际机器人应用中实现了对物体的抓取和操作。
Jan, 2019
利用单个 RGB-D 图像,我们引入了一种新颖的方法来计算物体的 6DoF 姿态。通过密集对应,我们回归每个可见像素的物体坐标,从而有效降低输出空间并取得出色的性能,在 6D 姿态估计中胜过大多数先前的方法,特别是在遮挡场景中具有显著改进的优势。
May, 2024
本文介绍了一种基于深度学习的 6D 姿态估计架构,能够直接从对应点回归 6D 姿态,并提出了单阶段 6D 姿态估计框架,能够在准确性和速度方面显著优于现有的双阶段框架。
Nov, 2019
本文介绍了一种名为 Deep-6DPose 的端到端深度学习框架,可以从单个 RGB 图像中同时检测、分割并恢复目标实例的 6D 姿态。实验表明,Deep-6DPose 比目前基于 RGB 的多阶段姿态估计方法更快,并且在标准的姿态基准数据集上显示出与现有方法相当的好的效果。
Feb, 2018
本文提出了一种离散连续的旋转回归公式来解决对称物体旋转不确定性问题,并通过点聚集向量来检测物体位置,并在 LINEMOD 和 YCB-Video 基准测试中得到比现有方法更好的表现。
Feb, 2020
本研究提出了一种基于深度神经网络的视觉损失函数,通过对凸形物体外轮廓的对齐来驱动位姿更新进行模型为 6D 姿态精修的处理,方法无需确定外观模型、免除了手动图像分割、同时能够处理遮挡问题和几何不对称性与视觉模糊问题,并且能够在没有深度数据的情况下准确地估算物体位姿。
Oct, 2018
本文提出一种基于分割的 6D 姿态估计框架,使用关键点检测获取局部姿态预测,并根据置信度预测将这些姿态候选融合成可靠的 3D-to-2D 对应关系,从而在多个低纹理物体相互遮挡的情况下获得最优姿态估计,其采用简单且高效的架构实现实时性能。
Dec, 2018
该论文提出了一种单次操作的方法,可以在不需要多个阶段或检查多个假设的同时,在 RGB 图像中检测对象并预测其 6D 姿态。通过采用新的 CNN 架构和 PnP 算法,该方法可以以 50fps 的速度在 Titan X GPU 上运行,比其他最近的 CNN 方法具有更高的准确性和更适合实时处理。
Nov, 2017
通过使用编码器 - 解码器网络以及 PnP-RANSAC 算法,估算单张 3D 模型可得的 RGB 输入图像中刚性对象的 6D 位姿,对具有全局或部分对称性的挑战性物体采用紧凑表面片段进行表示。
Apr, 2020