Jan, 2023

基于零件可负担接地的 6 自由度精细抓取检测学习

PDF
TL;DR本文提出了一种新的大型语言引导的形状抓取数据集（名为 Lang-SHAPE），用于学习 3D 部件的 affordance 和抓握能力，还设计了一种新颖的两阶段细粒度机器人抓握网络（名为 PIONEER）进行模型测试。结果表明，我们的方法在参考标识、affordance 推理和 3D 部分感知抓握方面实现了令人满意的性能和效率。
robotic graspingpart-wise grasping3d part language grounding modelaffordance inferencefine-grained robotic grasping network
发现论文，激发创造
  • 从人物 - 物体互动中学习粒度感知特性，为灵巧机器人的基于工具的功能抓取提供支持

    为了使机器人能够使用工具，我们提出了一种从人 - 物互动中学习粒度感知功能性工具握持的方法，该方法利用物体的显著特征来定位功能性作用区域并预测熟练的粗略手势。通过弱监督学习从外心图像中提取相关线索以监督视角中的特征提取，我们的方法在功能手 - 物互动图像数据集上表现出优于现有方法的效果。

    Jun, 2024

  • 可供性与几何之间的协同作用：通过隐式表示实现的 6-DoF 抓取检测

    利用深度隐式函数的多任务学习、共享表征，联合学习抓握可行性和三维重建任务，在清理杂物方面实现了优于基线方法 10% 的抓握成功率。

    Apr, 2021

  • PreAfford: 基于普适性可操作性的多样物体和环境预抓取

    Robotic manipulation of ungraspable objects is improved using the PreAfford pre-grasping planning framework, leading to a significant increase in grasping success rates.

    Apr, 2024

  • CenterGrasp：面向对象感知的隐式表示学习，用于同时形状重建和 6 自由度抓取估计

    通过编码形状和有效抓取的连续潜空间，CenterGrasp 框架结合了物体识别和整体抓取，实现了场景的强场景重建和六自由度抓取 - 姿态估计性能的显著改进。

    Dec, 2023

  • LOCATE: 弱监督可支配定位与传输物体部件

    本文提出一种名为 LOCATE 的框架，采用图像级别的适应性和对象标签对交互区域进行特征嵌入，并将其聚合为人类、对象部分和背景的紧凑原型之一，以指导功能接地的弱监督学习。对于新物体，实验证明我们的方法在训练图像和测试图像上性能都很好。

    Mar, 2023

  • AffordanceLLM: 视觉语言模型的作用感基础

    通过利用经过预训练的大规模视觉语言模型中的丰富世界、抽象和人 - 物体相互作用知识，我们提出的模型在自然环境中的对象可承受性接地任务上展示出明显的性能提升，我们进一步证明它可以对训练过程中未见过的随机互联网图像中的对象进行可承受性接地。

    Jan, 2024

  • 学习抓握：从某处到任何地方

    通过使用 RGB-D 数据流和视觉技术，本研究提出了一种自动生成并适应新物体姿态的抓取轨迹的方法，通过将轨迹相对于物体框架进行投影，实现了在多个不同机器人设置和物体上的抓取任务的高效执行。

    Oct, 2023

  • 通过语义关系学习握取可利用性推理

    本文提出了一种基于 Markov 逻辑网络的方法，以视觉输入数据为基础来检测和提取物体的多个握取能力，通过多个语义属性的组合预测握取能力，通过学习典型的抓握图案使方法具有广泛的泛化能力，结果表明该方法在握取预测的新实例上具有良好的泛化能力。

    Jun, 2019

  • PhyGrasp: 基于物理信息的大型多模态模型的机器人抓取泛化

    将物理常识推理融入机器人操作，通过 PhyGrasp 模型结合自然语言和 3D 点云输入，实现对对象的物理属性准确评估和最优抓取位姿决策。模型的语言理解能力使其能够解释人类指令，并生成符合人类偏好的抓取位姿。在长尾场景中，PhyGrasp 取得了最先进的性能，成功率比 GraspNet 提高了约 10%。

    Feb, 2024

  • MetaGrasp: 基于场景感知解释网络的数据高效抓取

    本文提出了一个针对数据收集到模型推理整个过程的新型夹持训练系统，通过抗脊夹持规则来获取有效的夹持样本，并设计了一个效益解释器网络来预测像素级的夹持效益地图，该模型只在模拟环境中训练，结果表明当模型面对全新的物体和背景时，它能做出很好的夹取决策，夹取成功率为 93%。

    Feb, 2019