视觉引导的物体抓取

Nov, 2023

Visually Guided Object Grasping

Radu Horaud, Fadi Dornaika, Bernard Espiau

TL;DR本文介绍一种视觉伺服方法，用于对象抓取和更一般地，将末端执行器与对象对齐的问题。首先，我们扩展了 Espiau 等人提出的方法 [1]，适用于没有安装在被控制机器人上的相机，并强调实时估计图像雅可比的重要性。其次，我们展示了如何使用非校准的立体摄像头设置，在三维射影空间中表示抓取或更一般地表示两个物体之间的对齐。这种三维射影表示是视角无关的，可以轻松映射到图像设定点，不需要任何关于相机参数的知识。第三，我们对视觉伺服算法的性能和这种方法能够获得的抓握精度进行了分析。

Abstract

In this paper we present a visual servoing approach to the problem of object grasping and more generally, to the problem of aligning an end-effector with an object. First we extend the method proposed by Espiau e

visual servoing object grasping end-effector image jacobian stereo rig

发现论文，激发创造

基于视觉的机器人手爪抓取技术综述：从物体定位、姿态估计到夹爪预测

本文针对基于视觉的机器人抓取进行了综合调查，总结了视觉基于机器人抓取的三个关键任务：物体定位、物体位姿估计和抓取估计，并详细介绍了这些任务中的传统方法和最新的基于 RGB-D 图像输入的深度学习方法，并总结了相关数据集和最先进方法之间的比较，同时也指出了视觉基于机器人抓取面临的挑战和未来方向。

May, 2019

通过循环控制实现 Sim2Real 视角不变的视觉伺服

该研究使用深度递归控制器训练机器人完成视觉伺服技能并解决了在遇到视觉扭曲时的模糊性问题。研究者使用模拟数据和强化学习目标进行了训练，证明了该模型可在真实的机器人手臂上操作。

Dec, 2017

使用模拟深度图像学习真实世界机器人抓取的视觉动作控制器

该研究提出了一种用于机器人抓取的闭环控制器的学习方法，该方法使用卷积神经网络学习关于图像的真实抓取的距离函数，可以应对虚拟和真实噪声传感器图像中的机械误差，感知误差和抓握时物体的不确定性。

Jun, 2017

通过三维等变性实现自监督的宽基线视觉伺服

本篇论文提出了一种新的自监督视觉伺服方法，用于基于宽基线图像的相机姿态估计，并以前沿的 3D 引导方法相比在 YCB 数据集上表现出了显着的性能提升。

Sep, 2022

四足机械臂快速物体视觉伺服和抓取的运动学分离阻抗控制

本研究提出一种基于解耦臂运动链和阻抗控制的物体搜索、接近和抓取（SAG）控制流程，它集成了基于图像的视觉伺服（IBVS），可用于任何移动平台（轮式或履带式车辆），但最适合于具有对干扰的反应性的四足操纵器。其中，阻抗控制的柔顺性使得机器人在与人类和环境的交互时更安全。在我们配备了 7 个自由度机械臂的 140 kg HyQReal 四足机器人上进行的各种实验中，我们展示了所提出方法的性能和稳健性，包括动态移动、在外部干扰下的跟踪和目标物体的快速运动。

Jul, 2023

6-DOF GraspNet: 对象操纵的变分抓取生成

利用变分自编码器和夹取评估模型采样一组夹取，并在模拟和真实机器人实验中评价和修正采样到的夹取，以实现抓取生成。通过纯模拟训练，可在不进行任何额外步骤的情况下运行于实际机器人操作中，具有较高的成功率。

May, 2019

Grasp2Vec: 自监督抓取中学习物体表示

本文探讨了如何通过自主机器人与环境进行交互，获得适用于机器人操纵任务的有效物体中心表示，无需人为标注。基于对象持久性的表示学习方法能够随着机器人收集更多经验，不断改进表示，从而可以在无需人为干预的情况下扩展规模。我们的实验表明，这种自我监督方法显着优于直接从图像进行强化学习和先前的表示学习方法。

Nov, 2018

ICGNet: 实例中心抓取的统一方法

通过使用点云数据以及实例中心表示来进行对象夹取和重建，我们提出的端到端架构在合成数据集上显示了优越的性能，并在真实场景中展示了应用的可行性。

Jan, 2024

CenterGrasp：面向对象感知的隐式表示学习，用于同时形状重建和 6 自由度抓取估计

通过编码形状和有效抓取的连续潜空间，CenterGrasp 框架结合了物体识别和整体抓取，实现了场景的强场景重建和六自由度抓取 - 姿态估计性能的显著改进。

Dec, 2023

多目标动态三维形状重建、6 自由度位姿估计和密集抓取预测实时同时完成

本文介绍了一种新的方法，通过感知系统提供场景中所有物体的几何和语义信息，同时提供这些物体的可行抓取，以加速机器人操作的复杂度。通过详细的定量分析，我们展示了我们的方法通过在 30 帧 / 秒速度下提供竞争性能，以比较专门用于物体形状、姿态和抓取预测的最新技术方法。

May, 2023