展示与把握：零样本基础模型支持的机器人抓取的小样本语义分割

Apr, 2024

展示与把握：零样本基础模型支持的机器人抓取的小样本语义分割

Show and Grasp: Few-shot Semantic Segmentation for Robot Grasping through Zero-shot Foundation Models

Leonardo Barcellona, Alberto Bacchin, Matteo Terreran, Emanuele Menegatti, Stefano Ghidoni

TL;DR我们提出了一个新颖的方法，结合了基础模型的出色广化能力和高性能的少样本分类器，作为一个评分函数来选择与支持集更接近的分割，从而克服了现有性能限制，并在 Graspnet-1B 和 Ocid-grasp 数据集以及真实世界的少样本抓取合成中取得了最先进的效果。

Abstract

The ability of a robot to pick an object, known as robot grasping, is crucial for several applications, such as assembly or sorting. In such tasks, selecting the right target to pick is as essential as inferring a correct configuration of the gripper. A common solution to this problem

robot grasping semantic segmentation models few-shot semantic segmentation models grasp synthesis pipeline few-shot grasp synthesis

发现论文，激发创造

DemoGrasp: 人机协作的机器人抓取少样本学习

通过简单的人类示范，我们提出了一种既不需要大量标注图像，也不受特定几何形状限制的机器人抓取方法：利用一个小的 RGB-D 图像序列构建相关的手和物体网格模型，然后在当前环境中估计物体的姿态并转移所需的抓取指令。

Dec, 2021

通过交互式分割和少样本学习，由非专家远程教授任务导向的抓取区域

本论文提出了一个新的两步框架，使机器人在非结构化环境中学会抓取并能够从远程的非专家演示中学习，通过分割的方式进行操作，在进行少量示范的情况下估计给定任务的未见场景所需的抓取区域，并有效地允许非专家进行新的抓取策略的远程教学。

Mar, 2023

DoUnseen：面向机器人抓取的零样本物体检测

本研究提出了一种零样本物体检测器，适用于开放集合，且不需预先知道物体类型，可以在抓取物体前几张图像后即可加入物体作为新的类别，并通过将未见物体分割网络级联零样本分类器的方式来打破分割管道的步骤。

Apr, 2023

ShapeGrasp：零射击任务导向的大型语言模型通过几何分解感知抓取

通过几何分解目标物体为简单的凸形状并将其表示为图形结构，包括几何属性和空间关系，利用大型语言模型的常识推理能力来动态分配语义含义，并对每个分解部分在特定任务中的效用进行推理，实现了一种新颖的零样本任务导向抓取方法。通过在真实世界的机器人平台上进行广泛实验，我们证明了我们的抓取方法的分解与推理管道在 92% 的情况下能够选择正确的部分，并且在 82% 的任务中成功抓取目标物体。

Mar, 2024

铺路把握一切：将基础模型转移，用于通用拾放机器人

本文提出了一种基于语言根据分割掩模的新型范例，来应对日常情况下一系列的抓取和放置机器人操作任务，通过将从掩模中传达的精确语义和几何形状与我们的多视点策略模型相结合，使我们的方法能够感知准确的物体姿态并实现样本高效学习。

Jun, 2023

通过把握进行自监督实例分割

提出一种自我监督的方法，利用机器人的抓取交互收集实例分割模型的分割监督，该方法可以在没有昂贵的人工注释的情况下，通过对成千上万的抓取交互进行分割来帮助机器人从图像中剪切和粘贴出物体，并显示其对于实例分割任务的重要性。

May, 2023

点击抓取：通过视觉扩散描述符实现零射击精确操控

利用网络训练的文本到图像扩散生成模型，在无样本情况下对细粒度部件描述符进行准确操作，通过将问题框架化为密集语义部件对应任务，返回用于操作特定部件的夹爪位姿，无需手动示教，验证了该方法在真实世界的桌面场景中的实验，证明了其推进语义感知机器人操作的潜力。

Mar, 2024

通过模拟与现实的迁移学习实现精准的无模型机器人抓取

提出了一种基于数据生成和模拟到真实世界迁移学习的机器人抓握框架，该框架通过减少模拟和实际之间的差距，解决了数据稀疏、传感器数据和接触模型不准确等问题，在单一物品、复杂形状物品和多物品的机器人抓握场景下分别获得了 90.91%、85.71% 的高成功率。

Jan, 2023

用少数标注实现机器人实例分割技术来抓取物品

该研究提出了一种将半监督学习与通过互动学习相结合的新方法，通过观察场景变化学习和利用视觉一致性，从而实现对物体的操作。在两个基准测试中验证了该方法，取得了卓越的性能。

Jul, 2024

机器人监督学习目标分割

本文提出了一种基于深度学习的机器人物体分割方法，通过解决两个子问题：机械臂与物体与背景的分割和物体与机械臂的分割，实现了无需人工标注数据即可训练网络的自我识别能力，实验证明该方法优于现有最优的自适应手持物体分割算法，并通过测试数据表明使用包含手持物体的自动标注图像的训练集可以提高物体在环境中的分割性能。

Apr, 2019