Sep, 2023

汽车内部物流中机器人操纵的 6D 位姿估计的工业应用

PDF
TL;DR使用经济可扩展的实际到合成数据的生成以及姿态估计器等最新组件，我们建立了一个代表性的 6D 姿态估计流程，并在实际的零件排序过程中对汽车零件进行了评估。通过分析发现，训练后的 6D 姿态估计器的性能有所改善，但不满足行业需求。我们揭示了造成这种情况的原因是估计器无法提供可靠的姿态不确定性，而不是提供充分准确的姿态。在此背景下，我们进一步分析了基于 RGB 和 RGB-D 的方法与通过合成数据引起的领域差异的比较，并发现它们对此具有不同的脆弱性。
robotics6d pose estimationautomotive industrydata generationdomain gap
发现论文，激发创造
  • 外科手术器械六自由度姿态估计的真实数据生成

    通过改进的仿真环境为外科机器人提供了大规模、多样化的 6D 姿态估计数据集，证明了所提系统在培训和评估外科机器人视觉算法方面的成功。

    Jun, 2024

  • 基于行动决策过程的六自由度位姿估计

    本研究从动作决策的角度重新定义了物体姿态估计问题，通过神经网络依次评估可能的动作，更新初始姿态以使虚拟 3D 渲染物体向正确解决方案迭代。这种决策过程不仅具有较小的计算成本并且可以应用于新的物体类型。在 Laval 和 YCB 视频场景中，与现有技术相比，该方法显著提高了准确性和鲁棒性。

    Sep, 2020

  • 家用物品机器人操作的 6 自由度位姿估计：可访问数据集和基准

    本文介绍了一个新的数据集，用于 6-DoF 姿态估计已知物体，在机器人操作研究方面重要。数据集由一组玩具杂货物品组成，旨在方便机器人抓取和操纵，提供了这些物品的 3D 模型和 RGBD 图像，可用于产生合成训练数据，并提出了一个新的姿态评估指标 ADD-H。

    Mar, 2022

  • 推动增强现实中的 6D 姿态估计 — 克服非受控图像的投影模糊

    本研究主要解决在增强现实（AR）中准确估计六自由度姿态的挑战，我们提出了一种新颖的方法，通过分解 z 轴平移和焦距的估计，利用 FocalPose 架构中内置的神经渲染和比较策略，从无控制的 RGB 图像中准确估计六自由度姿态，并显著提高了 AR 环境中三维物体叠加的准确性，实验结果表明在六自由度姿态估计准确度上有明显改进，该研究成果对制造业和机器人领域具有潜在的重要应用。

    Mar, 2024

  • 机器人操控的自监督 6D 物体位姿估计

    这篇论文介绍了一个机器人系统，可以通过自主学习的方式进行物体位姿估计，并通过环境中的物体抓取或推动的交互方式持续收集数据并完善其位姿估计模块，从而提高对象分割和 6D 姿态估计的性能。

    Sep, 2019

  • Deep-6DPose：从单个 RGB 图像中恢复 6D 物体姿态

    本文介绍了一种名为 Deep-6DPose 的端到端深度学习框架，可以从单个 RGB 图像中同时检测、分割并恢复目标实例的 6D 姿态。实验表明，Deep-6DPose 比目前基于 RGB 的多阶段姿态估计方法更快，并且在标准的姿态基准数据集上显示出与现有方法相当的好的效果。

    Feb, 2018

  • 家庭物品语义机器人抓取的深度物体姿态估计

    通过使用合成数据，我们提出了一种用于单个 RGB 图像的已知物体 6-DoF 姿态估计的深度神经网络训练方法，成功地跨越了所谓的现实间隙，并通过机器人进行了实时物体姿态估计，取得了与基于真实数据的深度神经网络相当的表现。

    Sep, 2018

  • 基于分割的 6D 物体姿态估计

    本文提出一种基于分割的 6D 姿态估计框架，使用关键点检测获取局部姿态预测，并根据置信度预测将这些姿态候选融合成可靠的 3D-to-2D 对应关系，从而在多个低纹理物体相互遮挡的情况下获得最优姿态估计，其采用简单且高效的架构实现实时性能。

    Dec, 2018

  • 密集融合：通过迭代密集融合实现 6D 物体姿态估计

    本文提出了 DenseFusion 框架，使用异构网络结构从 RGB-D 图像中估计已知物体的 6D 位姿，并通过端对端迭代位姿细化进一步提高了姿态估计的精度和实时性。实验结果表明，我们的方法在 YCB-Video 和 LineMOD 数据集上优于现有方法，并在实际机器人应用中实现了对物体的抓取和操作。

    Jan, 2019

  • 利用 RGB 图像进行少样本泛化学习，估计 6DoF 位姿

    本研究提出一种名为 Cas6D 的级联框架，该框架对六自由度物体姿态进行少样本学习的估计，使用自监督预训练 ViT 积累鲁棒特征、用特征金字塔进一步精炼姿态和借助离散化姿态搜索范围和渐进式缩小姿态搜索范围的特性克服了 6DoF 姿态估计中的一些常见失败模式。该研究表明，相较于 OnePose ++ 和 Gen6D，在 32-shot 设定下，Cas6D 在 LINEMOD 和 GenMOP 数据集上的定位精度分别提高了 9.2％和 3.8％（Proj-5）。

    Jun, 2023