CVPRJun, 2024

以语言为驱动的抓取检测

PDF
TL;DR本论文介绍了 Grasp-Anything++，一种新的以自然语言为驱动的抓握检测数据集，包含超过 100 万个样本、300 多万个物体和 1000 万个抓握指令。我们提出了基于扩散模型的新型语言驱动抓握检测方法，通过对抓握指令进行去噪处理来检测抓握姿势，并展示了我们的方法在理论上的支持以及在实验证明了它的优越性能。同时，我们的大规模数据集为零短抓握检测提供了支持，并成为未来工作的挑战性基准。
grasp detectionnatural languagedatasetlanguage-driven grasp detectiondiffusion models
发现论文，激发创造
  • Grasp-Anything: 基于 Foundation Models 的大规模抓取数据集

    本文利用基础模型解决机器人抓取检测的挑战，通过使用基础模型创建全新的大规模抓取数据集 Grasp-Anything，该数据集在多样性和规模上超过了先前的数据集，并成功实现了零样本抓取检测的视觉任务和实际机器人实验。

    Sep, 2023

  • SemGrasp: 通过语言对齐离散化生成语义抓取

    本文提出了一种基于语义的抓取生成方法 SemGrasp，并且介绍了一个将目标、抓取和语言整合到一个统一的语义空间中的多模态大型语言模型 (Multimodal Large Language Model, MLLM)。实验结果表明，SemGrasp 能够高效地生成符合语言意图的自然人类抓取。

    Apr, 2024

  • 自然语言条件下握物检测联合网络

    该论文提出了一种名为 CGNet 的模型，通过使用基于自然语言命令查询目标对象，直接从 RGB 图像和文本命令输入中输出命令满足的抓取。在基于 VMRD 数据集生成的基础上进行训练，该模型的实验结果比级联物体检索和抓取检测基线要优越很多，并通过三个物理实验证明了该模型的功能和性能。

    Apr, 2021

  • 多物体、多抓取实时检测

    本文提出了一种深度学习架构，用于预测机器人操作的适合抓取的位置，通过使用 RGB-D 图像输入的深度神经网络实现对单个或多个对象的多个抓取候选项的预测，实验表明该方法在 Cornell 数据集上表现优于其他方法，在掌握实验中也获得了不错的成功率。

    Feb, 2018

  • 深度卷积神经网络实现机器人抓取检测

    本论文提出了一种新颖的机器人抓取检测系统，该系统使用深度卷积神经网络从场景中提取特征并使用浅层卷积神经网络来预测感兴趣目标的抓取配置，取得了 89.21％的准确率和实时的运行速度，重新定义了机器人抓取检测的技术水平。

    Nov, 2016

  • Text2Grasp: 文本提示下的物体抓取部位的抓取合成

    以对象抓取部分的文本提示为引导，提出了一种文本引导的抓取合成方法，该方法包括一个文本引导的扩散模型 TextGraspDiff 和一个手 - 物体接触优化过程，以确保合理性和多样性，实验结果验证了该方法在精确的部位级别抓取控制和抓取质量方面的可比性。

    Apr, 2024

  • 超级自监督：通过 50K 次尝试和 700 机器人小时学习抓取

    本文采用大规模数据集和多阶段学习方法，使用卷积神经网络对机器人进行抓取任务，与几个基准进行比较，表现出了最先进的泛化能力。

    Sep, 2015

  • MetaGrasp: 基于场景感知解释网络的数据高效抓取

    本文提出了一个针对数据收集到模型推理整个过程的新型夹持训练系统，通过抗脊夹持规则来获取有效的夹持样本，并设计了一个效益解释器网络来预测像素级的夹持效益地图，该模型只在模拟环境中训练，结果表明当模型面对全新的物体和背景时，它能做出很好的夹取决策，夹取成功率为 93%。

    Feb, 2019

  • 从单次演示中学习抓取

    本文提出了一种基于单一演示的机器学习方法 GraspNet，其使用卷积神经网络来检测物体并进行抓取，在实验中使用 Franka Panda cobot，在数百次的训练迭代中训练 GraspNet，能够更加快速地进行精细调整。

    Jun, 2018

  • 高效准确的抓取检测中杂乱环境下的 斗以逆暂成

    有效、健壮的抓取姿势检测对于机器人操作至关重要。本论文提出了基于几何线索的质量度量指标 “抓持度”，并发展了一种神经网络模型 GSNet，以加速抓持度的检测，实验证明了该模型的稳定性、通用性和有效性，为各种先前方法提供了显著的准确度提升。

    Jun, 2024