Jun, 2023

基于策略的样本高效观测模仿学习

PDF
TL;DR本文提出了 SEILO，这是一种新颖的 ILO 的样本有效的 on-policy 算法，结合了标准的对抗性模仿学习和逆动力学建模，通过此方法能够使智能体从对手过程和行为克隆损失中接收反馈，我们实证表明，相比于其他现有的 on-policy ILO 和 ILD 方法，我们所提出的算法需要更少的与环境的交互才能实现专家绩效。
imitation learningdemonstrationsobservationssample-efficientadversarial imitation learning
发现论文，激发创造
  • 通过转换模型不一致性学习观测到的模仿

    本文提出了一种利用中间策略来训练学习者的一种方法，该中间策略可以近似地执行专家的策略，以便用于不同环境下的模仿学习，并在 MuJoCo 运动任务中取得了良好的结果。

    Apr, 2022

  • 基于观测的可证明高效仿真学习

    设计了一种新的模型无关算法用于能够从观察中学习的模仿学习，可以在大规模的马尔可夫决策过程中学习得到一种近似最优的策略，具有多项式样的效率。

    May, 2019

  • 通过估计演示者的专业知识进行逆强化学习

    使用不完美和异构演示在模仿学习中存在相当大的挑战，本文介绍了一种名为 IRLEED 的新框架，通过估计演示者的专业水准，克服了现有逆强化学习算法中对不完善演示的缺陷，并结合最大熵逆强化学习框架从多样的不完善演示中高效地得出最优策略。通过在线和离线模仿学习设置以及模拟和人工生成的数据进行的实验表明，IRLEED 具有适应性和有效性，成为从不完善演示中学习的通用解决方案。

    Feb, 2024

  • 基于观察的模仿学习与自动折扣调度

    通过自动折扣调度的机制适应性地改变强化学习的折扣系数，我们提出了一种新颖的观察学习框架，使得代理能够在掌握较早行为之后再逐步转向后续行为，并通过在九个 Meta-World 任务上的实验证明该方法在所有任务中明显优于现有方法。

    Oct, 2023

  • 基于离线数据的观测模仿学习的双重方法

    通过学习一个多步效用函数来量化每个行动对智能体与专家的访问分布之间的差异，我们提出了 DILO (从观测中进行双重模仿学习) 算法，它可以利用任意次优数据学习模仿策略而不需要专家行动，从而有效地解决了高维观测问题，表现得更好。

    Jun, 2024

  • 通过模仿和强化学习实现快速政策学习

    本文探讨了一种新的多算法策略，即将多种不同的 RL 和 IL 算法统一到一个 mirror descent 框架下，并提出了名为 LOKI 的基于策略学习的策略，通过 IL 和 RL 的结合可以优于次优专家。

    May, 2018

  • 基于观测的离策略模仿学习

    本文提出了一个基于观察学习的学习方法，包括分布匹配、离线策略学习和倒置动作模型，能够在性能和样本效率上与最先进的方法相媲美。

    Feb, 2021

  • 基于集成的交互式模仿学习

    我们研究了交互式模仿学习，其中学习者通过与演示专家的互动查询动作注释，旨在学习一种能够与专家表现竞争性能且使用尽可能少的注释的策略。我们提出了一种名为集成交互式模仿学习（EIIL）的算法框架，可实现此目标。从理论上讲，我们证明了 EIIL 的一个效率优于 oracle 版本能够保证尖锐的后悔，前提是可以访问某个对状态具有 “探索性” 分布的样本。经验上，EIIL 在连续控制任务中明显超过在线和离线模仿学习基准。我们的工作为使用模型集合进行交互式模仿学习的收益开辟了系统研究。

    Dec, 2023

  • 用于单示范模仿学习的专家接近度作为替代奖励

    单个示范模仿学习浅层奖励问题通过过渡判别基于 IL 方法得到缓解，在五个广泛采用的 MuJoCo 基准测试以及 “灵巧门” 环境中，该方法胜过现有的 IL 方法且达到专家级性能。

    Feb, 2024

  • 高效对抗模仿学习

    本研究提出了一种基于自监督表示学习的对抗性模仿学习方法，用于学习具有抗扭曲性和时间预测性的状态和动作表示，以提高样本效率，并在 MuJoCo 的 100 个专家状态 - 动作对设置中相对于现有方法表现出 39％的改进。

    Mar, 2023