- GenHeld: 生成和编辑手持物体
Grasping 主题的研究通过 GenHeld 方法实现了在 3D 或 2D 条件下合成被握住的物体,包括选择、定位和编辑操作,结果展示了高质量和可行性。
- ASGrasp: 从 RGB-D 主动立体相机进行可迁移的透明物体重建与抓取
本研究针对透明和反射对象的抓取问题,利用 RGB-D 主动立体相机提出了一种名为 ASGrasp 的 6 自由度抓取检测网络,通过透明物体的重建实现材料无关的抓持,优于现有的基于 RGB-D 的方法。
- 使用质量多样性加速 6 自由度抓取采样
近期 AI 在机器人学习方面的重要进展,特别是自然语言条件规划和使用生成模型进行控制器高效优化。然而,互动数据仍然是泛化的瓶颈。获取抓取的数据是一个关键挑战,因为这项技能需要完成许多操作任务。质量多样性算法结合先验知识来加速生成多样的模拟抓 - LeTac-MPC:学习型模型预测控制在触觉反应抓取中的应用
LeTac-MPC 是一种基于学习的模型预测控制(MPC)方法,通过利用视觉基于触觉传感器 GelSight 的高分辨率触觉反馈,实现了对不同物体物理特性的动态和力交互任务中的稳健抓取控制。
- 结合形状补全和抓取预测的多指手快速多用途抓取
利用有限或无先验知识的握取问题是辅助机器人领域的高度相关技能。我们提出了一个基于深度学习的新型、快速且高保真度的流程,其中包括一个基于单深度图像的形状补全模块,以及一个基于预测对象形状的握取预测器。该流程在物理机器人平台上成功地实现了对各种 - 援手的价值
在真实环境中,一个机器人被赋予了一个抓取物体的任务,但不知道物体的确切位置。相反,机器人依靠对位置的概率估计来决定如何尝试抓取。我们提供了一种新颖的辅助价值(Value of Assistance,VOA)度量方式,用于评估一次特定观测对机 - 移动操作的主动感知运动生成
通过主动感知管道,我们在移动机器人中引入一种能够在未知、杂乱环境中进行抓取等操作的机器人运动生成方法,通过最大化视觉信息增益和任务目标达成的效率来权衡重构未知场景,以及实现了我们的移动抓取策略在真实世界中的传递。
- GAMMA: 基于在线抓取姿态融合的感知移动操作策略学习
提出了一种基于在线抓取姿势融合的可抓取性感知移动操作方法,用于在接近目标并抓取时有效观察目标,通过通过在线整理抓取姿势,消除冗余和异常值,并将其编码为一个抓取姿势观察状态,用于强化学习。此外,实时融合抓取姿势可直接评估抓握可行性,包括抓握姿 - ArtiGrasp:双手灵巧抓握与关节机构的物理合成
ArtiGrasp 使用强化学习和物理模拟来训练一个控制全局和局部手姿势的策略,以实现包括抓取和关节运动的双手 - 物体交互,并通过逐渐增加的难度的学习课程实现精确的手指控制。
- 稀疏奖励和稀疏互动下的质量多样性:机器人抓取的应用
通过评估框架,该研究工作在 10 个不同抓取领域进行了 15 种方法的实验,结果显示优先选择成功解决方案的 MAP-Elites 变体在所研究的指标上大大优于其他方法,并发现稀疏交互可能导致迷惑性的新颖性,此工作在文献中具有创新性地有效产生 - NBMOD: 在嘈杂背景中发现并抓住它
提出了一个名为 NBMOD 的大规模抓取检测数据集,包含 20 种不同类型的水果的 31,500 张 RGB-D 图像,以及用于解决定向边界框检测任务的旋转锚定机制(RAM)和一系列轻量级结构,其中 RAGT-3/3 模型在 NBMOD 数 - 基于 RGB-D 的语义分割进行衣服抓取和展开
本文提出了一种新颖的双向分形交叉融合神经网络(BiFCNet)用于语义分割,使得机器人能够识别出可抓取的区域以提供更多抓取可能性,同时还提出了一种基于对抗方法的数据增强方法,最后基于衣服平整度量的分割区域抓取点选择策略。在公共数据集 NYU - TactoFind:一种仅基于触觉的物体检索系统
本文研究了在视觉感知缺失,对象形状未知且对象可以自由运动的场景下的物体检索问题,提出了一种使用触觉反馈进行定位、识别和抓取新对象的系统。
- CMG-Net: 一种端到端基于接触的多指灵巧抓取网络
本论文提出了使用多指机器人手和被操作物体之间的接触来表示抓取的新方法,并通过一个端到端的网络实现在杂乱环境中抓取未知物体的目标。同时,我们创建了一个包括五千个场景的综合数据集,并进行了全面的实验研究,实验结果表明,我们的方法表现优于目前最先 - AAAI通过交互式分割和少样本学习,由非专家远程教授任务导向的抓取区域
本论文提出了一个新的两步框架,使机器人在非结构化环境中学会抓取并能够从远程的非专家演示中学习,通过分割的方式进行操作,在进行少量示范的情况下估计给定任务的未见场景所需的抓取区域,并有效地允许非专家进行新的抓取策略的远程教学。
- 基于强化学习的物体几何形态高效表征与互动抓取策略学习
本文提出一种基于强化学习的框架,通过连续地控制一个类人机械手,学习各种几何不同的实际物体的交互抓取。该框架在物体几何的显式表示方面进行了探索,并且通过符号距离隐式地指导搜索,最终表现出在更具挑战性的条件下学习的能力。
- 开放的手臂:开源的机械臂、手和控制
Open Arms 是一个开源的、类似于真实人类手臂的机器人手臂平台,该平台拥有 28 个自由度,旨在扩展类人机器人的抓握和操作能力,同时满足成本较低的假肢需求。
- DemoGrasp: 人机协作的机器人抓取少样本学习
通过简单的人类示范,我们提出了一种既不需要大量标注图像,也不受特定几何形状限制的机器人抓取方法:利用一个小的 RGB-D 图像序列构建相关的手和物体网格模型,然后在当前环境中估计物体的姿态并转移所需的抓取指令。
- 自然语言条件下握物检测联合网络
该论文提出了一种名为 CGNet 的模型,通过使用基于自然语言命令查询目标对象,直接从 RGB 图像和文本命令输入中输出命令满足的抓取。在基于 VMRD 数据集生成的基础上进行训练,该模型的实验结果比级联物体检索和抓取检测基线要优越很多,并 - DGCM-Net:稠密几何对应匹配网络用于增量式经验机器人抓取
通过学习经验,实现对新物体的抓取。引入密集几何对应匹配网络进行学习,以将相似几何结构的物体编码到近邻特征空间中,从而实现对未见物体的推广。最终实现成功率的提升和任务功能的优化。