Jan, 2024

Robo-ABC: 通过语义对应实现机器人操作中的类别以外物体能力泛化

PDF
TL;DR通过从人类视频中提取联系点、并借鉴人类思维方式，我们提出了 Robo-ABC 框架，在不需要任何手动注释、附加训练、部分分割、预编码知识或视角限制的情况下，使机器人能够通过检索视觉或语义上相似的对象来获得关于操作性的信息，并将其映射到新对象上，从而实现对类别之外的对象的零样本操作。在视觉操作性检索上，Robo-ABC 达到了相对于最先进的端到端操作模型的 31.6% 的显著提高，并通过现实世界的物体抓取任务实验，取得了 85.7% 的成功率，证明了其在真实世界任务中的能力。
robotic manipulationsemantic correspondenceaffordance memoryaffordance mappingzero-shot manner
发现论文，激发创造
  • 机器人操作的端到端操作能力学习

    本研究使用视觉契合技术，通过预测关键点的接触信息，提出了一种端到端的控制策略学习框架，可以实现在不同类型的操纵任务中的泛化。结果显示，我们的算法在成功率上大大优于基线算法，包括基于视觉契合和强化学习方法。

    Sep, 2022

  • 学习环境感知下的遮挡情况下 3D 关节物体操作的可供性

    通过结合物体层面的可行先验和环境约束，我们提出了一个环境感知的可行性框架，该框架能够在考虑环境约束的情况下学习可行性，对于包含单个遮挡物和复杂遮挡物组合的场景具有良好的泛化效果。

    Sep, 2023

  • 指导机器人探索的视觉可供性预测

    通过学习视觉契合来指导机器人探索，并使用基于 Transformer 的模型来学习 VQ-VAE 潜在嵌入空间中条件分布，从而展现模型的组合泛化能力。训练完成的契合模型可用于机器人操作策略学习中的目标抽样分布。

    May, 2023

  • 通过想象视觉可供性学习新技能：我在这里能做什么？

    本文旨在研究如何通过生成模型来让一个通用机器人学习视觉契合性的表征，以便于机器人可以在新环境中使用它的模型进行采样，进而进一步训练其策略从而达成其目标。这种做法可以被用于训练以原始图像输入为操作对象的目标编码策略，并可以通过我们提出的契合性导向探索机制快速地学习如何操作新对象。我们展示，通过五分钟的在线学习就可以在新场景下使用之前的数据训练机器人完成抽屉打开，抓取和放置的任务。

    Jun, 2021

  • 通过无监督学习图嵌入进行非特定物体的可用性分类

    本文介绍了一种针对开放式交互集的类不可知对象的功能类别识别方法，该方法通过无监督学习认知对象互动之间的相似性，从而诱导对象功能群簇，为构建活动图提出了一种新的深度感知定性空间表示方法，通过这种方法可以获得相似功能的物体组。实验证明，该方法即使在杂乱无章的场景中也能学习到高度 V-measure 的对象功能群簇，并且能够有效地处理对象遮挡，并且不强制施加任何对象或场景约束。

    Mar, 2023

  • Where2Explore: 面向未见过的可动物体新类别的少样本可用性学习

    通过引入‘Where2Explore’，一个能够有效地在有限数量的实例上探索新类别的可行性学习框架，本文解决了在机器人学中基础而又具有挑战性的关节物体操作问题，实现了有效的少样本学习与推广。

    Sep, 2023

  • 使用内在动机进行层次感知发现

    本文提出了一种使用内在动机来指导移动机器人利用环境中可行的任务来自主学习并适应互相关联的任务的方法。

    Sep, 2020

  • 学习人机交互的社交意涵

    本文提出了一种从人体活动视频中学习社交效应的机器人学习方法，该方法基于生成模型和马尔科夫链蒙特卡罗算法自动发现从 RGB-D 视频中的交互作用，让机器人能够自然地复制这些交互作用的完整体运动。

    Apr, 2016

  • USA-Net: 机器人记忆的统一语义和可负担表示

    本研究提出了一种简单的方法来构造一个可微分的世界表示，该表示将场景的语意和空间可负载特征编码成一个映射表，从而实现了同时优化场景语意和可负载特征的端到端可微规划。

    Apr, 2023

  • 基于文本的从第一人称视角的作用感知学习

    通过文本指导的能力学习方法，学习机器人接触点和操纵轨迹，实现对实际场景中多样化互动的理解。

    Apr, 2024