Jun, 2021

通过想象视觉可供性学习新技能：我在这里能做什么？

PDF
TL;DR本文旨在研究如何通过生成模型来让一个通用机器人学习视觉契合性的表征，以便于机器人可以在新环境中使用它的模型进行采样，进而进一步训练其策略从而达成其目标。这种做法可以被用于训练以原始图像输入为操作对象的目标编码策略，并可以通过我们提出的契合性导向探索机制快速地学习如何操作新对象。我们展示，通过五分钟的在线学习就可以在新场景下使用之前的数据训练机器人完成抽屉打开，抓取和放置的任务。
generalist robotzero-shot generalizationgenerative modelsvisuomotor affordance learninggoal-conditioned policies
发现论文，激发创造
  • 指导机器人探索的视觉可供性预测

    通过学习视觉契合来指导机器人探索，并使用基于 Transformer 的模型来学习 VQ-VAE 潜在嵌入空间中条件分布，从而展现模型的组合泛化能力。训练完成的契合模型可用于机器人操作策略学习中的目标抽样分布。

    May, 2023

  • 从游戏中学习可操作性以实现高效策略学习

    提出一种从人类遥操作的游戏数据中提取自我监督的视觉管用模型，并将其与基于模型的策略学习和基于模型的强化学习相结合，以实现有效的策略学习和运动规划，从而实现在人类环境中运作的机器人的高效操作。

    Mar, 2022

  • 机器人操作的端到端操作能力学习

    本研究使用视觉契合技术，通过预测关键点的接触信息，提出了一种端到端的控制策略学习框架，可以实现在不同类型的操纵任务中的泛化。结果显示，我们的算法在成功率上大大优于基线算法，包括基于视觉契合和强化学习方法。

    Sep, 2022

  • 末端到端的视觉运动控制的可供性学习

    采用模块化神经网络体系结构，利用合成数据和模拟技术，通过低维潜在表示生成场景可用性，成功训练机械臂政策。同时，提出了一种数据集生成方法，可轻松推广到新任务、对象和环境，无需手动像素标记。

    Mar, 2019

  • 利用有损特征进行泛化：利用广泛的离线数据学习视觉运动任务

    本研究提出了基于多任务离线强化学习和亚目标规划的框架，通过先从大量数据中提取信息进行预训练，然后在视觉输入下对未知任务进行在线微调，旨在解决机器人学中多任务数据对下游任务的泛化问题。

    Oct, 2022

  • 使用内在动机进行层次感知发现

    本文提出了一种使用内在动机来指导移动机器人利用环境中可行的任务来自主学习并适应互相关联的任务的方法。

    Sep, 2020

  • 利用视觉可供性在非结构化数据上进行语言基础建设

    本文提出了一种基于视觉语言感知模型的新方法，可以在真实世界中从非结构化、离线、无需重置的数据中高效地学习通用的、以语言为条件的机器人技能，实验表明该方法配合 LLMS 可以在真实世界中完成长期、多层次的任务，并比以往方法少使用一个数量级的数据。

    Oct, 2022

  • 通过物理理解进行即兴发挥：利用新颖物品及视觉先见的工具

    通过机器学习技术，训练视觉和物理多物互动理解的模型，并开发了一个基于样本的优化器来实现复杂的工具使用任务，实验表明目前此方法可以通过原始像素输入解决多种复杂的工具使用任务，能够感知和使用新的对象作为工具，同时根据需要灵活选择是否使用工具。

    Apr, 2019

  • 以人类视频中的操作性作为机器人的通用表现形式

    本论文探讨了如何通过利用互联网视频中的人类行为，训练一个可视化驱动的视觉能力模型，以此实现机器人在现实环境中的复杂任务执行。我们将该模型与四个机器人学习范式无缝连接，并在 4 个现实世界环境、超过 10 种不同任务和 2 个机器人平台中展示了其效力。

    Apr, 2023

  • 深度可供性预见：通过未来可实现的行动计划

    本文提出了一种新的 affordance 表示，使机器人可以通过建模未来的 affordance 来推断长期效应，从而确定实现任务目标的最佳动作。通过该新表示，我们开发了一种 learning-to-plan 方法，Deep Affordance Foresight（DAF），通过试错学习参数化 motor skills 的 affordance 的环境模型，我们在两个挑战性的操作领域上评估了 DAF，并展示了它可以有效地学习执行多步任务，在不同的任务之间共享学习到的 affordance 表示，并学习用高维图像输入进行规划。

    Nov, 2020