Dec, 2023

PlayFusion: 通过语言标注游戏实践实现技能获得

PDF
TL;DR通过学习无结构和未经整理的数据来生成语言和视觉方面的方法成为了主流。本论文研究了从带有事后语言标签的无结构游戏数据中学习目标导向技能策略的问题，并借助扩散模型的进展，从无结构游戏数据中提取机器人技能。
generative approacheslanguage and visionunstructured play datadiffusion modelsrobotic skills
发现论文，激发创造
  • SkillDiffuser: 通过扩散式任务执行中的技能抽象实现可解释的分层规划

    SkillDiffuser 是一个集成可解释技能学习与条件扩散规划的分层规划框架，用于从高级指令生成连贯和长程轨迹，在复杂任务中尤其对需要多个连续技能的情况具有挑战性。

    Dec, 2023

  • 从游戏中学习潜在计划

    该论文提出了基于自我监督控制和玩耍数据的方法来扩大技能学习，结合自我监督控制和多样性玩耍数据集，实现了对环境中所有可用行为的连续学习，取得了在机器人桌面环境中 18 项视觉操作任务上的显著表现，同时表现出更强的抗干扰能力和重试成功的行为。

    Mar, 2019

  • 基于自监督对抗模仿无标签混合动作的多用途技能控制

    本文提出了一种协作对抗式学习方法，用于从包含不同状态转移模式的未标记数据集中最大化它们的可辨识度，获得可控技能集的单一多才策略。实验结果表明，借助生成式对抗模仿学习框架中的无监督技能发现，出现了成功完成任务的新颖有用技能。最后，在名为 Solo 8 的敏捷四足机器人上测试了所获得的多才多艺策略，并呈现出编码在演示中的各种不同技能的忠实复制。

    Sep, 2022

  • 通过离散扩散进行大规模无操作视频预训练，实现高效策略学习

    利用人类视频进行预训练，通过有限的机器人演示来转移知识，实现机器人策略学习的通用性体现。

    Feb, 2024

  • 语言条件下的机器人模仿学习对非结构化数据的影响因素

    本研究旨在从自然语言文本中获取信息，进而训练机器人进行各种日常生活任务。我们通过探索一系列最重要的问题，来提出一种有效的机器人控制学习方法，该方法结合了分层控制、多模态变换编码器、离散潜在计划和自监督对比损失。同时，我们使用所提出的方法，成功地在机器人 CALVIN 基准测试中，超越了现有研究成果。

    Apr, 2022

  • 基于语言条件的结构化数据模仿学习

    通过自然语言条件化的模拟学习方法，结合像素感知、自然语言理解和多任务连续控制的神经网络，可以在无需任务或语言标签的情况下，显著提高任务成果，同时将语言注释成本降低到总数据量的不到 1％。

    May, 2020

  • 利用扩散计划实现灵活的行为合成

    本文通过扩展动力学模型，利用扩散概率模型去掉了传统轨迹优化方法的瓶颈，将采样和计划步骤近乎完全融合，通过分类器和图像插值获得了在线规划策略，并在长期决策和测试时间灵活性强的控制环境中成功应用了该框架。

    May, 2022

  • 从游戏到政策：基于未筛选机器人数据的条件行为生成

    本文提出了一种名为 C-BeT 的新方法，结合了 Behavior Transformer 多模态生成能力和条件生成模型技术，实现从多模态、嘈杂数据中提取有用、任务中心的行为，取得了有益的效果，而该方法也是第一个实现从无标签、零奖励信息的玩耍数据里纯学习真实世界机器人有用任务行为的方法。

    Oct, 2022

  • 使用生成对抗网络（GAN）从非结构化演示中进行多模态模仿学习

    本篇论文提出了一种多模态模仿学习框架，能够通过学习技能分段和模仿学习来从未标记和非结构化的示范中分段并模仿技能，从而克服了传统模仿学习方法因要求有结构和隔离示范而限制其可扩展性的问题。广泛的仿真实验证明，我们的方法能够有效地将示范分割成各自的技能，并使用单一的多模态策略学习模仿，实现了多任务执行。

    May, 2017

  • 基于基本技能先验的语言条件下的非结构化数据模仿学习

    本研究通过语言条件机器人操作来提高算法在适应不熟悉环境中的泛化能力。在模拟环境和真实世界中的测试中，实验证明该方法的平均完成任务长度比 HULC 方法提高多达 2.5 倍，并且在真实世界的测试中也取得了相当好的表现。

    May, 2023