May, 2023

POPE：使用一个参考物，在任何场景中准确预估物体的六自由度位姿

PDF
TL;DR该研究提出了一种称为 POPE 的物体姿态估计方法，利用预训练的大型 2D 基础模型，采用具有分层特征表示和 3D 几何原则的框架，并估计新视图中的物体提示和目标物体之间的相对相机姿态，实现了零样本环境下的 6DoF 物体姿态估计，不仅能完成双视图任务，还可用于多视图 6DoF 姿态估计，并在实验中表现出无与伦比的稳健性。
object pose estimation3d visionpromptable object pose estimationcamera poserobust performance
发现论文，激发创造
  • Omni6DPose：一种用于普适 6D 物体姿态估计和跟踪的基准和模型

    6D 目标姿态估计是计算机视觉中一个重要且具有挑战性的任务，本文介绍了 Omni6DPose 数据集以及使用 GenPose++ 方法对其进行的基准分析。

    Jun, 2024

  • 多视角多类别物体姿态估计的统一框架

    本文介绍了一种基于深度卷积神经网络的方法，能够通过对特定对象类的分类和姿态回归，从单个或多视图中准确地推断大量对象类的六自由度姿态，并通过 SE（3）的均匀镶嵌提高了鲁棒性。作者还提出了一种适用于单视角存在歧义的高效多视图框架，并在 YCB-Video、JHUScene-50 和 ObjectNet-3D 三个大规模基准测试中取得了优异的表现，与目前现有技术相比表现优秀。

    Mar, 2018

  • 6D 物体位姿估计结合零样本学习

    提出了一种名为 PoMZ 的新方法，通过融合预训练的几何和图像模型，实现了零样本物体 6D 位姿估计的最新进展，该方法无需任务特定的微调，在 BOP 基准测试中在无法见到的物体的 6D 定位领域取得了第一名。

    Dec, 2023

  • SA6D：自适应少样本 6D 姿态估计器用于新颖且遮挡物体

    通过使用自适应分割模块并仅使用少量混乱的参考图像，我们提出了一种少样本姿态估计（FSPE）方法 SA6D，它能够对新的目标对象进行准确预测并构建目标对象的点云模型。与现有方法不同，SA6D 不需要以物体为中心的参考图像或任何其他物体信息，使其成为一个更具通用性和可伸缩性的解决方案，并在真实世界的台面物体数据集上进行了评估，证明了在带有遮挡的混乱环境中，SA6D 优于现有的 FSPE 方法，并且所需的参考图像较少。

    Aug, 2023

  • Gen6D: 从 RGB 图像中实现通用的无模型 6-DoF 物体姿态估计

    本文介绍了一种通用的无模型 6 自由度物体姿势估计模型 ——Gen6D。该模型不需要高质量物体模型，不需要深度图或物体遮蔽物，在任何环境下只需要物体的几张照片便可以准确预测物体的姿态。在实验中，Gen6D 在两个无模型数据集上达到了最新成果，以及在 LINEMOD 数据集上与特定实例的姿势估计相比展现出一定的竞争力。

    Apr, 2022

  • DPOD：6D 姿态物体检测器和细化器

    本文介绍了一种能够从 RGB 图像中检测三维物体和估计六自由度姿态的新型深度学习方法，称为 DPOD。该方法估计输入图像和可用的三维模型之间的密集多类二维三维对应关系图，通过 PnP 和 RANSAC 计算六自由度姿态，并使用基于深度学习的自定义方案对初始姿态估计进行了 RGB 姿态优化。与其他主要使用真实数据进行训练且不对合成渲染进行训练的方法不同，我们对合成数据和真实训练数据进行评估，显示出在所有最近的检测器中，此方法无论先前和后面都能够获得优异的结果。虽然具有精度，但本方法仍然具有实时性能。

    Feb, 2019

  • 利用 RGB 图像进行少样本泛化学习，估计 6DoF 位姿

    本研究提出一种名为 Cas6D 的级联框架，该框架对六自由度物体姿态进行少样本学习的估计，使用自监督预训练 ViT 积累鲁棒特征、用特征金字塔进一步精炼姿态和借助离散化姿态搜索范围和渐进式缩小姿态搜索范围的特性克服了 6DoF 姿态估计中的一些常见失败模式。该研究表明，相较于 OnePose ++ 和 Gen6D，在 32-shot 设定下，Cas6D 在 LINEMOD 和 GenMOP 数据集上的定位精度分别提高了 9.2％和 3.8％（Proj-5）。

    Jun, 2023

  • 基于语义关键点的六自由度物体位姿估计

    本文提出了一种新的方法，使用卷积网络 (ConvNet) 预测语义关键点结合可变形形状模型，从单张 RGB 图像中估计物体的连续六自由度 (6-DoF) 姿态 (三维平移和旋转)，可以应用于基于实例和类别的姿态恢复，且无论是纹理还是无纹理对象均可。实验结果表明，该方法可在杂乱背景下准确地恢复实例和类别物体的 6-DoF 姿态，并在大规模 PASCAL3D+ 数据集上显示出最先进的精度。

    Mar, 2017

  • DPODv2：基于密集对应的 6 自由度姿态估计

    本文提出了一种基于密集对应的三阶段六自由度物体检测方法，称为 DPODv2（密集姿势物体检测器），结合了 2D 物体检测与密集对应估计网络以及多视图姿态细化方法来估计完整的 6 自由度姿态，其使用了不同成像模式（RGB 或 Depth）作为输入。实验结果表明，RGB 成像在对应估计方面表现优异，而如果存在良好的 3D-3D 对应，则深度成像可提高姿势精度。

    Jul, 2022

  • PFRL: 无需姿态信息的强化学习在 6D 姿态估计中的应用

    通过强化学习，使用 2D 图像注释作为微弱监督的 6D 姿态信息，我们构建了一个无需真实世界 6D 标签的 6D 姿态微调模型，从而实现了优化姿态模型的有效方法。

    Feb, 2021