BundleTrack:针对新物体的 6D 位姿跟踪,无需实例或类别级别的 3D 模型
使用 6-PACK 这种基于深度学习的方法,我们可以针对已知对象类别如碗、笔记本电脑和马克杯,在 RGB-D 数据上实时跟踪新物体实例的类别级 6D 目标位姿。通过无需手动监督的方式学习关键点的方法,可以压缩表示物体,并在其基础上进行跟踪,同时它也可以支持机器人执行简单的基于视觉的闭环操作任务。
Oct, 2019
本研究提出了一种近实时的方法,可以从单目 RGBD 视频序列中对未知物体进行 6 自由度跟踪,并同时进行神经 3D 重建。该方法适用于任意刚体对象,即使视觉纹理基本不存在。该方法的关键在于同时学习神经对象场和姿态图优化过程,以稳健地累积信息以捕捉物体的几何和外观,而不需要其他信息和假设。本方法可以处理具有大的位姿变化,部分遮挡,无纹理表面和高光反射等挑战性序列,而且通过在 HO3D,YCBInEOAT 和 BEHAVE 数据集上的测试,证明本研究方法显著优于现有方法。
Mar, 2023
本文提出一种新的方法,在视觉目标追踪方面通过 3D 形态和位姿表达,结合可微分渲染技术优化一个新型的损失函数,取得了在三个数据集上追踪刚性物体方面的最新进展。
Apr, 2023
该论文提出了一个统一的框架来处理品类、实例以及部位的姿态追踪问题,其中 9DoF 姿态表示通过 3D 错套边框实现。通过三个模块的组合提高 9DoF 姿态的精度达到了最优,成为了该领域的新的最优实践方法。
Apr, 2021
该研究提出了一种基于数据驱动的优化方法,用于长期跟踪 6D 姿态,通过使用新颖的神经网络架构和有效的 Lie 代数 3D 方向表示法,可以同时减少域偏移,实现在虚拟数据集和真实图像上的更好表现。
Jul, 2020
FoundationPose 是一个统一的基础模型,用于 6D 物体姿态估计和跟踪,通过神经内隐表示实现了对新视角的有效产生,并通过大规模合成训练、转换器结构和对比性学习公式实现了较强的广义性和优越的性能。
Dec, 2023
本文提出了一种名为 OnePose 的新方法,可以在没有 CAD 模型的情况下对任意类别的物体进行物体姿态估计,利用视觉定位和图形注意力网络结合进行 2D 和 3D 特征匹配,结合基于特征的姿势跟踪器,可以实现对日常家用物品 6D 姿态的实时稳定检测和跟踪。
May, 2022
本文提出一种基于分割的 6D 姿态估计框架,使用关键点检测获取局部姿态预测,并根据置信度预测将这些姿态候选融合成可靠的 3D-to-2D 对应关系,从而在多个低纹理物体相互遮挡的情况下获得最优姿态估计,其采用简单且高效的架构实现实时性能。
Dec, 2018
本论文提出了一种名为 TbD-3D 的方法,可以同时跟踪快速运动的非均匀球形物体的 3D 运动轨迹、3D 姿态和物体外观变化,并提出了一组新的具有挑战性的数据集,用于验证该方法。
Nov, 2019
本篇研究提出使用深度神经网络和可靠的平面追踪技术结合,实时追踪物体的姿态,而无需传感器的预先校准或初始化,实现在移动设备上执行相对尺度 9 自由度跟踪。
Jun, 2020