Nov, 2023

FoundPose: 基于基础特征的未知物体姿态估计

PDF
TL;DR利用 FoundPose 方法可以从单个 RGB 图像中准确估计看不见的刚性物体的 6D 姿态，方法基于 DINOv2 模型实现泛化能力强，通过 DINOv2 基于词袋模型快速检索相似模板，从而建立 2D-3D 对应，最后通过特征度量优化姿态。该方法可以应对各种物体，包括具有对称性和无纹理的复杂物体，在标准 BOP 基准测试中在粗略姿态估计的准确性和速度方面明显优于现有的 RGB 方法，而在特征度量和额外的 MegaPose 优化的情况下，该方法胜过所有的 RGB 竞争者。
6d pose estimationunseen rigid objectsdinov2object representationfeaturemetric refinement
发现论文，激发创造
  • FoundationPose: 统一的新物体 6D 姿态估计与跟踪

    FoundationPose 是一个统一的基础模型，用于 6D 物体姿态估计和跟踪，通过神经内隐表示实现了对新视角的有效产生，并通过大规模合成训练、转换器结构和对比性学习公式实现了较强的广义性和优越的性能。

    Dec, 2023

  • 单幅 RGB 帧的基于语义关键点的姿态估算

    该论文提出了一种从单个 RGB 图像中估计物体连续 6-DoF 姿态的方法，该方法结合了经卷积网络预测的语义关键点和可变形的形状模型，同时采用了半自动数据生成技术来训练可学习组件，在实验中该方法达到了与现有技术相当的结果。

    Apr, 2022

  • 基于分割的 6D 物体姿态估计

    本文提出一种基于分割的 6D 姿态估计框架，使用关键点检测获取局部姿态预测，并根据置信度预测将这些姿态候选融合成可靠的 3D-to-2D 对应关系，从而在多个低纹理物体相互遮挡的情况下获得最优姿态估计，其采用简单且高效的架构实现实时性能。

    Dec, 2018

  • 密集融合：通过迭代密集融合实现 6D 物体姿态估计

    本文提出了 DenseFusion 框架，使用异构网络结构从 RGB-D 图像中估计已知物体的 6D 位姿，并通过端对端迭代位姿细化进一步提高了姿态估计的精度和实时性。实验结果表明，我们的方法在 YCB-Video 和 LineMOD 数据集上优于现有方法，并在实际机器人应用中实现了对物体的抓取和操作。

    Jan, 2019

  • 走向人类级别的三维相对姿态估计：通用化、免训练、单个参考

    用 RGB-D 参考图像的 2.5D 形状、现成可微分渲染器以及 DINOv2 预训练模型提取的语义线索为基础，无需标记和训练，提出了一种新颖的可推广的三维相对姿态估计方法，通过渲染与对比新的 RGB 和语义地图，实现了只需单个 RGB-D 参考图像可用于未见过的对象的姿态估计。

    Jun, 2024

  • 基于语义关键点的六自由度物体位姿估计

    本文提出了一种新的方法，使用卷积网络 (ConvNet) 预测语义关键点结合可变形形状模型，从单张 RGB 图像中估计物体的连续六自由度 (6-DoF) 姿态 (三维平移和旋转)，可以应用于基于实例和类别的姿态恢复，且无论是纹理还是无纹理对象均可。实验结果表明，该方法可在杂乱背景下准确地恢复实例和类别物体的 6-DoF 姿态，并在大规模 PASCAL3D+ 数据集上显示出最先进的精度。

    Mar, 2017

  • Gen6D: 从 RGB 图像中实现通用的无模型 6-DoF 物体姿态估计

    本文介绍了一种通用的无模型 6 自由度物体姿势估计模型 ——Gen6D。该模型不需要高质量物体模型，不需要深度图或物体遮蔽物，在任何环境下只需要物体的几张照片便可以准确预测物体的姿态。在实验中，Gen6D 在两个无模型数据集上达到了最新成果，以及在 LINEMOD 数据集上与特定实例的姿势估计相比展现出一定的竞争力。

    Apr, 2022

  • OnePose：无 CAD 模型一次性物体姿态估计

    本文提出了一种名为 OnePose 的新方法，可以在没有 CAD 模型的情况下对任意类别的物体进行物体姿态估计，利用视觉定位和图形注意力网络结合进行 2D 和 3D 特征匹配，结合基于特征的姿势跟踪器，可以实现对日常家用物品 6D 姿态的实时稳定检测和跟踪。

    May, 2022

  • MoreFusion: 基于体素融合的多目标推理技术在 6D 位姿估计中的应用

    提出了一种基于多视角视野的实时视觉系统，可以从单个 RGB-D 视角提出三维物体姿态建议，并且根据多个视角的姿态估计和非参数占用信息积累这些姿态估计，从而对接触的多个已知对象进行一致的、不相交的姿态估计。应用于实时机器人应用程序中，只使用机载 RGB-D 视觉，机械臂可以精确而有序地拆卸复杂的物体堆放，展示了其准确性和鲁棒性。

    Apr, 2020

  • 实时无缝单帧六维物体姿态预测

    该论文提出了一种单次操作的方法，可以在不需要多个阶段或检查多个假设的同时，在 RGB 图像中检测对象并预测其 6D 姿态。通过采用新的 CNN 架构和 PnP 算法，该方法可以以 50fps 的速度在 Titan X GPU 上运行，比其他最近的 CNN 方法具有更高的准确性和更适合实时处理。

    Nov, 2017