Nov, 2017

SSD-6D：使基于 RGB 的三维检测和 6D 位姿估计更加卓越

PDF
TL;DR我们提出了一种新颖的方法，在单个快拍中从 RGB 数据中检测 3D 模型实例并估计其 6D 姿势。为此，我们扩展了流行的 SSD 范例，以涵盖完整的 6D 姿态空间，并仅在合成模型数据上进行训练。我们的方法在多个具有挑战性的数据集上竞争或超越了目前领先的 RGB-D 数据利用方法。此外，我们的方法在大约 10Hz 左右产生这些结果，速度比相关方法快多了。为了可重现性，我们公开可用我们的训练网络和检测代码。
3d model instances6d posesrgb datassd paradigmsynthetic model data
发现论文，激发创造
  • Deep-6DPose：从单个 RGB 图像中恢复 6D 物体姿态

    本文介绍了一种名为 Deep-6DPose 的端到端深度学习框架，可以从单个 RGB 图像中同时检测、分割并恢复目标实例的 6D 姿态。实验表明，Deep-6DPose 比目前基于 RGB 的多阶段姿态估计方法更快，并且在标准的姿态基准数据集上显示出与现有方法相当的好的效果。

    Feb, 2018

  • HomebrewedDB：用于 3D 物体 6D 姿态估计的 RGB-D 数据集

    本文介绍了一个新的数据集和基准测试标准，主要针对从 3D 模型（有纹理和无纹理）训练，可扩展性，遮挡，光照和物体外观的变化等方面测试 6D 姿态估计算法的性能，并使用最先进的 DPOD 检测器来设置基线。

    Apr, 2019

  • DPOD：6D 姿态物体检测器和细化器

    本文介绍了一种能够从 RGB 图像中检测三维物体和估计六自由度姿态的新型深度学习方法，称为 DPOD。该方法估计输入图像和可用的三维模型之间的密集多类二维三维对应关系图，通过 PnP 和 RANSAC 计算六自由度姿态，并使用基于深度学习的自定义方案对初始姿态估计进行了 RGB 姿态优化。与其他主要使用真实数据进行训练且不对合成渲染进行训练的方法不同，我们对合成数据和真实训练数据进行评估，显示出在所有最近的检测器中，此方法无论先前和后面都能够获得优异的结果。虽然具有精度，但本方法仍然具有实时性能。

    Feb, 2019

  • 实时无缝单帧六维物体姿态预测

    该论文提出了一种单次操作的方法，可以在不需要多个阶段或检查多个假设的同时，在 RGB 图像中检测对象并预测其 6D 姿态。通过采用新的 CNN 架构和 PnP 算法，该方法可以以 50fps 的速度在 Titan X GPU 上运行，比其他最近的 CNN 方法具有更高的准确性和更适合实时处理。

    Nov, 2017

  • 从 RGB 图像中学习 6D 物体探测的隐式三维方向

    我们提出了一种基于实时 RGB 的管道来实现物体检测和六自由度姿态估计。我们的创新性三维方向估计基于域随机化训练的三维模型的模拟视图，采用了变体的降噪自编码器。我们称之为增强自编码器相较于现有方法具有多个优点：它不需要真实标注的训练数据，适用于各种测试传感器，固有的处理物体和视角对称性。我们提出了一种隐式表征物体方向的方法，定义了潜在空间内的样本，而不是学习从输入图像到对象姿态的显式映射。我们的管道在 T-LESS 数据集的 RGB 和 RGB-D 领域均取得了最新成果。我们还在 LineMOD 数据集上进行评估，其中我们可以与其他合成训练方法竞争。当物体偏离图像中心时，通过纠正三维方向估计来进一步提高性能，并展示了扩展结果。

    Feb, 2019

  • Self6D: 自监督单目 6D 物体姿态估计

    使用无监督学习的方法进行单眼 RGB 数据下的 6D 物体位姿估计，作者训练了一个神经网络模型，通过真实 RGB-D 数据的自监督模式来提高模型的性能表现，并证明了该方法能够显著地优化模型的性能，超过了其他使用合成数据或领域适应技术的方法。

    Apr, 2020

  • 从 RGB-D 图像推断三维物体姿态

    该研究旨在使用卷积神经网络检测和定位 RGB-D 场景中的物体，然后使用 3D 模型替换它们，相对于目前最先进的算法，该方法在 3D 检测任务中表现出 48％的相对改进，并且速度更快。

    Feb, 2015

  • Gen6D: 从 RGB 图像中实现通用的无模型 6-DoF 物体姿态估计

    本文介绍了一种通用的无模型 6 自由度物体姿势估计模型 ——Gen6D。该模型不需要高质量物体模型，不需要深度图或物体遮蔽物，在任何环境下只需要物体的几张照片便可以准确预测物体的姿态。在实验中，Gen6D 在两个无模型数据集上达到了最新成果，以及在 LINEMOD 数据集上与特定实例的姿势估计相比展现出一定的竞争力。

    Apr, 2022

  • 基于 RGB-D 图像的 6 自由度物体位姿估计的基于残差的密集点对点网络

    利用单个 RGB-D 图像，我们引入了一种新颖的方法来计算物体的 6DoF 姿态。通过密集对应，我们回归每个可见像素的物体坐标，从而有效降低输出空间并取得出色的性能，在 6D 姿态估计中胜过大多数先前的方法，特别是在遮挡场景中具有显著改进的优势。

    May, 2024

  • MV6D: 使用深度点投票网络的 RGB-D 框架多视角 6D 位姿估计

    提出了一种名为 MV6D 的多视角 6D 姿态估计方法，该方法使用多个视角的 RGB-D 图像，通过 DenseFusion 层融合每个视角的图像，可以精确预测杂乱场景中所有对象的 6D 姿态.

    Aug, 2022