Mar, 2024

ShapeGrasp：零射击任务导向的大型语言模型通过几何分解感知抓取

PDF
TL;DR通过几何分解目标物体为简单的凸形状并将其表示为图形结构，包括几何属性和空间关系，利用大型语言模型的常识推理能力来动态分配语义含义，并对每个分解部分在特定任务中的效用进行推理，实现了一种新颖的零样本任务导向抓取方法。通过在真实世界的机器人平台上进行广泛实验，我们证明了我们的抓取方法的分解与推理管道在 92% 的情况下能够选择正确的部分，并且在 82% 的任务中成功抓取目标物体。
发现论文，激发创造
  • 展示与把握：零样本基础模型支持的机器人抓取的小样本语义分割

    我们提出了一个新颖的方法，结合了基础模型的出色广化能力和高性能的少样本分类器，作为一个评分函数来选择与支持集更接近的分割，从而克服了现有性能限制，并在 Graspnet-1B 和 Ocid-grasp 数据集以及真实世界的少样本抓取合成中取得了最先进的效果。

    Apr, 2024

  • 基于元素分解学习的敏捷式抓取推理

    该研究提出了一种通过深度学习使机器人手臂学习理想抓握方法的方法，通过基于途径的抓取推理和仿真到实际的域适应，实现了物体的抓握成功率分别达到 90% 和 70%。

    Feb, 2024

  • DemoGrasp: 人机协作的机器人抓取少样本学习

    通过简单的人类示范，我们提出了一种既不需要大量标注图像，也不受特定几何形状限制的机器人抓取方法：利用一个小的 RGB-D 图像序列构建相关的手和物体网格模型，然后在当前环境中估计物体的姿态并转移所需的抓取指令。

    Dec, 2021

  • PhyGrasp: 基于物理信息的大型多模态模型的机器人抓取泛化

    将物理常识推理融入机器人操作，通过 PhyGrasp 模型结合自然语言和 3D 点云输入，实现对对象的物理属性准确评估和最优抓取位姿决策。模型的语言理解能力使其能够解释人类指令，并生成符合人类偏好的抓取位姿。在长尾场景中，PhyGrasp 取得了最先进的性能，成功率比 GraspNet 提高了约 10%。

    Feb, 2024

  • 面向开放世界抓取的大规模视觉语言模型

    通过结合语言模型 (vision-language models)、分割模型和抓取综合模型，提出了一个能够在任何场景中理解、规划和执行物体抓取的开放世界抓取系统 (OWG)，通过视觉提示机制，借助于开放式自由语言的引导实现零样本应用，展示了该系统在杂乱室内场景数据集和仿真环境、硬件实验中相对于以往的有监督和零样本语言模型方法具有优越性能。

    Jun, 2024

  • 具有神经对象形状完善功能的拟人抓握

    通过从部分观测中重建和完成其全面几何结构，并利用七自由度的拟人化机器人手进行操作，我们的方法显著提高了只有部分重建的基线的抓取成功率近 30％，并以三个不同的对象类别多次实现了超过 150 次成功抓取，这表明我们的方法在真实世界的不同方向和位置基于完成的对象形状进行预测和执行抓取姿势的一贯能力，为增强需要实际重建对象的精确抓取和操作技能的机器人应用开辟了新的可能性。

    Nov, 2023

  • 点击抓取：通过视觉扩散描述符实现零射击精确操控

    利用网络训练的文本到图像扩散生成模型，在无样本情况下对细粒度部件描述符进行准确操作，通过将问题框架化为密集语义部件对应任务，返回用于操作特定部件的夹爪位姿，无需手动示教，验证了该方法在真实世界的桌面场景中的实验，证明了其推进语义感知机器人操作的潜力。

    Mar, 2024

  • SemGrasp: 通过语言对齐离散化生成语义抓取

    本文提出了一种基于语义的抓取生成方法 SemGrasp，并且介绍了一个将目标、抓取和语言整合到一个统一的语义空间中的多模态大型语言模型 (Multimodal Large Language Model, MLLM)。实验结果表明，SemGrasp 能够高效地生成符合语言意图的自然人类抓取。

    Apr, 2024

  • 同一物体，不同抓取：面向任务的抓取的数据和语义知识

    本论文介绍了一个名为 TaskGrasp 的数据集和一个名为 GCNGrasp 的机器人抓取框架，用语义知识来进行任务驱动的物体抓取。实验结果表明，该模型在处理新对象和新任务方面具有更高的泛化能力。

    Nov, 2020

  • 利用大型语言模型进行机器人三维场景理解

    探讨使用大量语言模型来实现场景理解的常识；介绍了三种利用语言对包含对象的室内环境进行分类的范例：（i）零样本方法，（ii）前馈分类器方法和（iii）对比分类器方法，在现代空间感知系统生成的 3D 场景图上进行操作，并通过分析每种途径，展示了显着的零样本泛化和转移能力；最后，展示了这些方法也适用于推断包含房间的建筑标签，并在真实环境中展示了零样本方法。

    Sep, 2022