Apr, 2023

揭示基于 RGB 的 6-DoF 目标位姿估计中的背景偏差

PDF
TL;DR本文通过分析 Linemod 数据集中伴随 ArUco 标记的图像噪声，探讨其对于机器学习算法 6DOF 姿态估计的影响，并提出了通过数据增强和其他方法减少偏差的方案。同时，本文证明了标记对于神经网络实现 6DOF 姿态估计具有一定的影响因素。
data-driven methodsintegrity of imageslinemod datasetpose estimation accuracyaruco markers
发现论文，激发创造
  • 基于分割的 6D 物体姿态估计

    本文提出一种基于分割的 6D 姿态估计框架，使用关键点检测获取局部姿态预测，并根据置信度预测将这些姿态候选融合成可靠的 3D-to-2D 对应关系，从而在多个低纹理物体相互遮挡的情况下获得最优姿态估计，其采用简单且高效的架构实现实时性能。

    Dec, 2018

  • 单幅 RGB 帧的基于语义关键点的姿态估算

    该论文提出了一种从单个 RGB 图像中估计物体连续 6-DoF 姿态的方法，该方法结合了经卷积网络预测的语义关键点和可变形的形状模型，同时采用了半自动数据生成技术来训练可学习组件，在实验中该方法达到了与现有技术相当的结果。

    Apr, 2022

  • 利用 RGB 图像进行少样本泛化学习，估计 6DoF 位姿

    本研究提出一种名为 Cas6D 的级联框架，该框架对六自由度物体姿态进行少样本学习的估计，使用自监督预训练 ViT 积累鲁棒特征、用特征金字塔进一步精炼姿态和借助离散化姿态搜索范围和渐进式缩小姿态搜索范围的特性克服了 6DoF 姿态估计中的一些常见失败模式。该研究表明，相较于 OnePose ++ 和 Gen6D，在 32-shot 设定下，Cas6D 在 LINEMOD 和 GenMOP 数据集上的定位精度分别提高了 9.2％和 3.8％（Proj-5）。

    Jun, 2023

  • 通过学习 RGB-D 特征实现鲁棒的 6D 物体姿态估计

    本文提出了一种离散连续的旋转回归公式来解决对称物体旋转不确定性问题，并通过点聚集向量来检测物体位置，并在 LINEMOD 和 YCB-Video 基准测试中得到比现有方法更好的表现。

    Feb, 2020

  • PFRL: 无需姿态信息的强化学习在 6D 姿态估计中的应用

    通过强化学习，使用 2D 图像注释作为微弱监督的 6D 姿态信息，我们构建了一个无需真实世界 6D 标签的 6D 姿态微调模型，从而实现了优化姿态模型的有效方法。

    Feb, 2021

  • HomebrewedDB：用于 3D 物体 6D 姿态估计的 RGB-D 数据集

    本文介绍了一个新的数据集和基准测试标准，主要针对从 3D 模型（有纹理和无纹理）训练，可扩展性，遮挡，光照和物体外观的变化等方面测试 6D 姿态估计算法的性能，并使用最先进的 DPOD 检测器来设置基线。

    Apr, 2019

  • 从 RGB 图像中学习 6D 物体探测的隐式三维方向

    我们提出了一种基于实时 RGB 的管道来实现物体检测和六自由度姿态估计。我们的创新性三维方向估计基于域随机化训练的三维模型的模拟视图，采用了变体的降噪自编码器。我们称之为增强自编码器相较于现有方法具有多个优点：它不需要真实标注的训练数据，适用于各种测试传感器，固有的处理物体和视角对称性。我们提出了一种隐式表征物体方向的方法，定义了潜在空间内的样本，而不是学习从输入图像到对象姿态的显式映射。我们的管道在 T-LESS 数据集的 RGB 和 RGB-D 领域均取得了最新成果。我们还在 LineMOD 数据集上进行评估，其中我们可以与其他合成训练方法竞争。当物体偏离图像中心时，通过纠正三维方向估计来进一步提高性能，并展示了扩展结果。

    Feb, 2019

  • 推动增强现实中的 6D 姿态估计 — 克服非受控图像的投影模糊

    本研究主要解决在增强现实（AR）中准确估计六自由度姿态的挑战，我们提出了一种新颖的方法，通过分解 z 轴平移和焦距的估计，利用 FocalPose 架构中内置的神经渲染和比较策略，从无控制的 RGB 图像中准确估计六自由度姿态，并显著提高了 AR 环境中三维物体叠加的准确性，实验结果表明在六自由度姿态估计准确度上有明显改进，该研究成果对制造业和机器人领域具有潜在的重要应用。

    Mar, 2024

  • 基于相关融合的 6D 姿态估计

    本文提出了一种新的方法，使用注意力机制有效地考虑 RGB 和深度之间的相关性，探索了用于确保 RGB 和深度之间有效信息流的内部和交叉相关模块的有效融合策略。实验结果表明，该方法在对象姿态估计方面的表现优于现有方法，并证明了该方法可以为真实世界的机器人抓取任务提供准确的物体姿态估计。

    Sep, 2019

  • Deep-6DPose：从单个 RGB 图像中恢复 6D 物体姿态

    本文介绍了一种名为 Deep-6DPose 的端到端深度学习框架，可以从单个 RGB 图像中同时检测、分割并恢复目标实例的 6D 姿态。实验表明，Deep-6DPose 比目前基于 RGB 的多阶段姿态估计方法更快，并且在标准的姿态基准数据集上显示出与现有方法相当的好的效果。

    Feb, 2018