Nov, 2023

LocaliseBot: 基于可微分渲染的多视角 3D 物体定位与机器人抓取

PDF
TL;DR机器人抓取通常遵循五个阶段：物体检测、物体定位、物体姿态估计、抓取姿态估计和抓取规划。本论文关注于物体姿态估计，我们的方法依赖于物体的多个视角、相机在这些视角下的外部参数以及物体的 3D CAD 模型。我们通过优化不可区分渲染进行了粗略的姿态估计的细化，避免了点云或深度图像等其他信息的需求，并在 ShapeNet 数据集上验证了我们的物体姿态估计方法并显示了超过最先进方法的改进。通过使用标准实践在 Object Clutter Indoor Dataset (OCID) Grasp 数据集中计算出与地面真实抓取候选对象的 99.65％抓取准确度的物体姿态。
发现论文，激发创造
  • 基于视觉的机器人手爪抓取技术综述：从物体定位、姿态估计到夹爪预测

    本文针对基于视觉的机器人抓取进行了综合调查，总结了视觉基于机器人抓取的三个关键任务：物体定位、物体位姿估计和抓取估计，并详细介绍了这些任务中的传统方法和最新的基于 RGB-D 图像输入的深度学习方法，并总结了相关数据集和最先进方法之间的比较，同时也指出了视觉基于机器人抓取面临的挑战和未来方向。

    May, 2019

  • 外置单目 RGB 相机间接目标到机器人姿态估计

    本文提出了一种机器人抓取系统，使用单个外部单目 RGB 摄像头作为输入，在不同的神经网络的协同作用下模拟抓取各种家庭物品的过程。

    Aug, 2020

  • MoreFusion: 基于体素融合的多目标推理技术在 6D 位姿估计中的应用

    提出了一种基于多视角视野的实时视觉系统，可以从单个 RGB-D 视角提出三维物体姿态建议，并且根据多个视角的姿态估计和非参数占用信息积累这些姿态估计，从而对接触的多个已知对象进行一致的、不相交的姿态估计。应用于实时机器人应用程序中，只使用机载 RGB-D 视觉，机械臂可以精确而有序地拆卸复杂的物体堆放，展示了其准确性和鲁棒性。

    Apr, 2020

  • 多目标动态三维形状重建、6 自由度位姿估计和密集抓取预测实时同时完成

    本文介绍了一种新的方法，通过感知系统提供场景中所有物体的几何和语义信息，同时提供这些物体的可行抓取，以加速机器人操作的复杂度。通过详细的定量分析，我们展示了我们的方法通过在 30 帧 / 秒速度下提供竞争性能，以比较专门用于物体形状、姿态和抓取预测的最新技术方法。

    May, 2023

  • 6-DOF GraspNet: 对象操纵的变分抓取生成

    利用变分自编码器和夹取评估模型采样一组夹取，并在模拟和真实机器人实验中评价和修正采样到的夹取，以实现抓取生成。通过纯模拟训练，可在不进行任何额外步骤的情况下运行于实际机器人操作中，具有较高的成功率。

    May, 2019

  • RGB Matters: 在单目 RGBD 图像上学习 7 自由度抓取姿态

    本文提出了 RGBD-Grasp 方法，通过卷积神经网络 Angle-View Net（AVN）预测抓手的 SO（3）方向和 FAS 模块计算抓手的张开宽度和与抓点的距离，解决机器人领域中的物体抓取问题，并在 GraspNet-1Billion 数据集上取得了最先进的结果。

    Mar, 2021

  • 多物体、多抓取实时检测

    本文提出了一种深度学习架构，用于预测机器人操作的适合抓取的位置，通过使用 RGB-D 图像输入的深度神经网络实现对单个或多个对象的多个抓取候选项的预测，实验表明该方法在 Cornell 数据集上表现优于其他方法，在掌握实验中也获得了不错的成功率。

    Feb, 2018

  • 从 RGB-D 图像推断三维物体姿态

    该研究旨在使用卷积神经网络检测和定位 RGB-D 场景中的物体，然后使用 3D 模型替换它们，相对于目前最先进的算法，该方法在 3D 检测任务中表现出 48％的相对改进，并且速度更快。

    Feb, 2015

  • 密集环境下高精度握取姿态检测

    本研究旨在利用深度传感器扫描的大型在线数据集来训练卷积神经网络，通过两种新的抓取候选表示方法实现对 6 自由度抓取候选的分类来提高抓取方法的成功率，在 Baxter 研究机器人上的实验中，相对于以前的研究成果，我们的方法有了 20％的提高，平均抓取成功率达到了 93％。

    Mar, 2016

  • 点云中的抓取姿态检测

    本文提出了一种有效的机器手抓取检测方法，通过处理嘈杂的 RGBD 图像或点云来输出适合的机械臂抓取配置的估计值，实现了对新对象的抓取成功率最高可达 93%。

    Jun, 2017