CVPRApr, 2023

以人类视频中的操作性作为机器人的通用表现形式

PDF
TL;DR本论文探讨了如何通过利用互联网视频中的人类行为，训练一个可视化驱动的视觉能力模型，以此实现机器人在现实环境中的复杂任务执行。我们将该模型与四个机器人学习范式无缝连接，并在 4 个现实世界环境、超过 10 种不同任务和 2 个机器人平台中展示了其效力。
roboticsvisual affordance modelimitation learningreinforcement learninghuman behavior
发现论文，激发创造
  • 学习人机交互的社交意涵

    本文提出了一种从人体活动视频中学习社交效应的机器人学习方法，该方法基于生成模型和马尔科夫链蒙特卡罗算法自动发现从 RGB-D 视频中的交互作用，让机器人能够自然地复制这些交互作用的完整体运动。

    Apr, 2016

  • 从人类视频中构建结构化世界模型

    我们提出了一种方法，通过仅利用许多不同设置的少量实际交互轨迹，使机器人能够有效地学习操纵技能，并由此建立了一个基于人的视频的结构化行为空间，从而使不同的机器人能够在复杂环境下学习各种操纵技能。

    Aug, 2023

  • 指导机器人探索的视觉可供性预测

    通过学习视觉契合来指导机器人探索，并使用基于 Transformer 的模型来学习 VQ-VAE 潜在嵌入空间中条件分布，从而展现模型的组合泛化能力。训练完成的契合模型可用于机器人操作策略学习中的目标抽样分布。

    May, 2023

  • 机器人操作的端到端操作能力学习

    本研究使用视觉契合技术，通过预测关键点的接触信息，提出了一种端到端的控制策略学习框架，可以实现在不同类型的操纵任务中的泛化。结果显示，我们的算法在成功率上大大优于基线算法，包括基于视觉契合和强化学习方法。

    Sep, 2022

  • 从 RGB-D 视频中学习人类活动和物体可支配性

    该研究旨在利用 Markov 随机场和支持向量机算法，提取描述性标签以识别人类活动和物品仿真，并应用于机器人的辅助任务中，其准确度在 120 个视频的测试中分别为 80% (物品仿真）、64%（子活动）和 75% (高级活动）。

    Oct, 2012

  • 从视频中学习社交可供性语法：将人类交互转移到人机交互

    本文介绍了一种从 RGB-D 视频中学习社交能力语法的空间时间 AND-OR 图（ST-AOG）的通用框架，并将语法传递给人形机器人，以实现人机交互的实时运动推理。通过对基于吉布斯采样的弱监督语法学习的研究，我们通过构造自动化层次互动的表示形式，同时考虑双方的长期联合子任务和个体代理的短期原子行动。基于具有丰富人际互动实例的新 RGB-D 视频数据集，我们的实验的 Baxter 模拟，人类评价和真实 Baxter 测试表明，该模型能够从有限的训练数据中成功地在看不见的情境中生成人类化的行为，并胜过了基线。

    Mar, 2017

  • 通过观察学习：机器人操作的基于视频的学习方法综述

    机器人通过观察大规模人类视频学习可以增强对机器人操纵的泛化性和样本效率。

    Feb, 2024

  • 从演示视频到目标图像的可支配性 grounding

    本文提出了基于 Transformer 的 Affordance Transformer 以及自我监督的预训练技术 Mask Affordance Hand，用于视频到图像的 Affordance Grounding 任务，提高了视频图像之间的一致性，实现了多项基准测试中最先进的性能。

    Mar, 2023

  • 从游戏中学习可操作性以实现高效策略学习

    提出一种从人类遥操作的游戏数据中提取自我监督的视觉管用模型，并将其与基于模型的策略学习和基于模型的强化学习相结合，以实现有效的策略学习和运动规划，从而实现在人类环境中运作的机器人的高效操作。

    Mar, 2022

  • 通过想象视觉可供性学习新技能：我在这里能做什么？

    本文旨在研究如何通过生成模型来让一个通用机器人学习视觉契合性的表征，以便于机器人可以在新环境中使用它的模型进行采样，进而进一步训练其策略从而达成其目标。这种做法可以被用于训练以原始图像输入为操作对象的目标编码策略，并可以通过我们提出的契合性导向探索机制快速地学习如何操作新对象。我们展示，通过五分钟的在线学习就可以在新场景下使用之前的数据训练机器人完成抽屉打开，抓取和放置的任务。

    Jun, 2021