Dec, 2023

通过最大化证据推断行动：从观察中无标签模仿的世界模型

PDF
TL;DR通过最大化证据的行动推理（AIME）和世界模型，在不需要进一步训练或与环境在线交互的情况下，通过观察和模仿他人的行为实现零 - shot 模型的人工智能代理。
reinforcement learning agentsobservational learningaction inferenceworld modelszero-shot imitation
发现论文，激发创造
  • 零样本视觉模仿

    本文提出了一种无需专家指导，在探索环境中通过前向一致性损失生成目标导向的技能策略，并应用其中的零样本策略，成功地实现了 Baxter 机器人复杂绳子操作和 TurtleBot 在未知办公室环境中的导航。

    Apr, 2018

  • 克服知识障碍：基于预训练世界模型的在线模仿学习

    通过预训练和微调等方法，将计算机视觉和自然语言处理领域的成功范式引入到决策过程中已成为近年来越来越受欢迎的研究方向。本篇研究主要探讨了使用预训练模型进行观察性仿真学习，发现现有的方法在应对环境体验知识障碍和示范知识障碍方面存在局限，限制了其性能表现。通过深入分析这些障碍的机制，并在 AIME 方法上提出了 AIME-v2 解决方案，该方案通过在线交互和数据驱动的调整函数来减轻环境体验障碍，并引入代理奖励函数来增强策略训练，以缓解示范知识障碍。在 DeepMind Control Suite 和 Meta-World 基准测试下进行的实验结果表明，这些改进措施在提高样本效率和收敛性能方面具有有效性。此研究为解决基于预训练的方法中的知识障碍以促进决策提供了宝贵的见解。

    Apr, 2024

  • 通过预测观察来模仿

    本文基于未来观察奖励模型，提出了一种新的依靠观察数据进行模仿学习的方法，可以在连续控制任务中表现出与人类专家相当的性能，同时在存在与任务无关的观察数据时表现出鲁棒性。

    Jul, 2021

  • DITTO: 带有全局模型的离线模仿学习

    使用物理世界模型和在线强化学习，本文提出了一种 DITTO 的离线模仿学习算法，用于解决协变量转移的问题，并通过 Atari 游戏环境测试表明，在线学习性能已经达到了最先进水平。

    Feb, 2023

  • 高效的保守世界模型下的模仿学习

    我们通过对专家演示进行政策学习来解决没有奖励函数的问题，并提出了将模仿学习视为微调问题的方法，通过在高维原始像素观测中在 Franka Kitchen 环境上取得了最新的最佳性能，只需要 10 个演示且没有奖励标签，同时解决了复杂的灵巧操作任务。

    May, 2024

  • 零样本迁移在模仿学习中的应用

    我们提出了一种学习模仿专家行为并能在以前未见过的领域进行迁移学习的算法。通过使用 AnnealedVAE 来学习一个解缠缚状态表示，并通过学习一个单一的 Q 函数来模仿专家，我们结合了深度强化学习中的最新进展，从而克服了奖励函数设计的困难、在不同领域部署已学习策略的困难，以及直接在现实世界中学习由于安全问题而昂贵或不可行的问题。在 3 个环境中展示了我们方法的有效性，这些环境的难度和迁移知识类型各不相同。

    Oct, 2023

  • 贝叶斯解决模仿间隙

    在缺乏奖励信号的环境中，我们提出了一种基于贝叶斯的解决方案（BIG），通过使用专家演示和指定未演示的探索性行为成本的先验，来推断贝叶斯逆强化学习（IRL）中的奖励后验，从而学习到基于贝叶斯的最优策略。我们的实验表明，BIG 能够在测试时适应模仿差距，同时在不存在模仿差距时仍能通过专家演示学习到最优行为。

    Jun, 2024

  • 从观察中模仿潜在策略

    本文提出了一种新的模仿学习方法，直接从状态观测推断潜在策略，并引入了一种方法来描述潜在动作对观测的因果影响，同时预测它们的可能性，从而确定潜在和实际行为之间的映射。本文在经典控制环境和平台游戏中评估了该方法，并表明它的性能优于标准方法。

    May, 2018

  • 高效示教学习的规划

    提出了 EfficientImitate 这一基于规划的模仿学习方法，成功地将两类看似不兼容的模仿算法：行为克隆和对抗模仿学习，自然地统一到了一个框架中，实现了在性能和样本效率方面的高水平。

    Oct, 2022

  • 通过互信息估计与最大化进行零样本基于骨架的动作识别

    通过相互信息估计和最大化，我们提出了一种基于零样本骨骼动作识别的新方法，通过最大化视觉和语义空间之间的相互信息来进行分布对齐，并利用时间信息来估计相互信息，以增加观察到的帧数。

    Aug, 2023