Jun, 2019

通过语义关系学习握取可利用性推理

PDF
TL;DR本文提出了一种基于 Markov 逻辑网络的方法，以视觉输入数据为基础来检测和提取物体的多个握取能力，通过多个语义属性的组合预测握取能力，通过学习典型的抓握图案使方法具有广泛的泛化能力，结果表明该方法在握取预测的新实例上具有良好的泛化能力。
grasp affordanceobject manipulationmarkov logic networkssemantic attributesreliable mappings
发现论文，激发创造
  • 以交互为预训练的地面功能表示学习

    借助神经网络建模物体状态，可以实现有效的物体功能信息提取并与传统语义学模型相结合，能够在基于图像的语言学习上取得更好的表现。

    Jul, 2022

  • 学习正确的行为：从图像预测和解释可供性

    本文提出使用图神经网络对场景中的操作、物体可用性进行详细的推理，并解决了在特定环境下不应该采取某些行动以及采取这些行动后可能发生的情况的问题。

    Dec, 2017

  • MetaGrasp: 基于场景感知解释网络的数据高效抓取

    本文提出了一个针对数据收集到模型推理整个过程的新型夹持训练系统，通过抗脊夹持规则来获取有效的夹持样本，并设计了一个效益解释器网络来预测像素级的夹持效益地图，该模型只在模拟环境中训练，结果表明当模型面对全新的物体和背景时，它能做出很好的夹取决策，夹取成功率为 93%。

    Feb, 2019

  • 基于语义角色标注的可供性提取与推断

    文中提出了一种基于分布假设的显式词表示方法，能够通过语义角色表示含义并从中推断关系，以此改进自然语言处理中非监督单词相似性任务的现状。

    Sep, 2018

  • AffordanceLLM: 视觉语言模型的作用感基础

    通过利用经过预训练的大规模视觉语言模型中的丰富世界、抽象和人 - 物体相互作用知识，我们提出的模型在自然环境中的对象可承受性接地任务上展示出明显的性能提升，我们进一步证明它可以对训练过程中未见过的随机互联网图像中的对象进行可承受性接地。

    Jan, 2024

  • 可供性与几何之间的协同作用：通过隐式表示实现的 6-DoF 抓取检测

    利用深度隐式函数的多任务学习、共享表征，联合学习抓握可行性和三维重建任务，在清理杂物方面实现了优于基线方法 10% 的抓握成功率。

    Apr, 2021

  • 指导机器人探索的视觉可供性预测

    通过学习视觉契合来指导机器人探索，并使用基于 Transformer 的模型来学习 VQ-VAE 潜在嵌入空间中条件分布，从而展现模型的组合泛化能力。训练完成的契合模型可用于机器人操作策略学习中的目标抽样分布。

    May, 2023

  • 基于零件可负担接地的 6 自由度精细抓取检测学习

    本文提出了一种新的大型语言引导的形状抓取数据集（名为 Lang-SHAPE），用于学习 3D 部件的 affordance 和抓握能力，还设计了一种新颖的两阶段细粒度机器人抓握网络（名为 PIONEER）进行模型测试。结果表明，我们的方法在参考标识、affordance 推理和 3D 部分感知抓握方面实现了令人满意的性能和效率。

    Jan, 2023

  • 学习环境感知下的遮挡情况下 3D 关节物体操作的可供性

    通过结合物体层面的可行先验和环境约束，我们提出了一个环境感知的可行性框架，该框架能够在考虑环境约束的情况下学习可行性，对于包含单个遮挡物和复杂遮挡物组合的场景具有良好的泛化效果。

    Sep, 2023

  • 机器人操作的端到端操作能力学习

    本研究使用视觉契合技术，通过预测关键点的接触信息，提出了一种端到端的控制策略学习框架，可以实现在不同类型的操纵任务中的泛化。结果显示，我们的算法在成功率上大大优于基线算法，包括基于视觉契合和强化学习方法。

    Sep, 2022