ICLRFeb, 2020

具有状态的模仿学习与转移动力学不匹配

PDF
TL;DR本文介绍了一种新的基于状态的模仿学习算法，借助最近的对抗模仿学习方法，通过将总体优化目标分解为两个子问题并迭代地解决这些子问题，解决了专家和模仿者 MDPs 之间的过渡动力学不匹配问题。作者还通过 OpenAI Gym 的 MuJoCo 运动任务构造了几个有趣的 Markov 决策过程，分析表明该算法在存在过渡动力学不匹配现象时特别有效，而基线 IL 方法则会导致性能下降。
发现论文，激发创造
  • 通过转换模型不一致性学习观测到的模仿

    本文提出了一种利用中间策略来训练学习者的一种方法，该中间策略可以近似地执行专家的策略，以便用于不同环境下的模仿学习，并在 MuJoCo 运动任务中取得了良好的结果。

    Apr, 2022

  • 跨域观测下的模仿学习

    本篇研究针对专家行为与训练代理之间的差异，提出了一种基于无配对无对齐的轨迹，以及循环一致性限制的框架，来学习对应关系以解决领域差异的问题，并通过实验证明了该方法的有效性。

    May, 2021

  • 走向模仿学习的基本极限

    研究了在马尔可夫决策过程中，即使在给定数据集前提下，模仿专家政策的算法可能会存在次优性，并提出了一种基于最小距离函数的新算法，在确定性专家和已知转移模型的情况下，提高了最小极值速率。

    Sep, 2020

  • 基于状态对齐的模仿学习

    提出一种基于状态对齐的模仿学习方法，旨在训练模仿者尽可能地模仿专家演示中的状态序列，该方法将本地和全局的状态对齐结合到一个强化学习框架中，并通过一个规则化的策略更新目标来实现。该方法在标准模仿学习设置和专家和模仿者具有不同动力学模型的模仿学习设置中显示了其优越性。

    Nov, 2019

  • 用于单示范模仿学习的专家接近度作为替代奖励

    单个示范模仿学习浅层奖励问题通过过渡判别基于 IL 方法得到缓解，在五个广泛采用的 MuJoCo 基准测试以及 “灵巧门” 环境中，该方法胜过现有的 IL 方法且达到专家级性能。

    Feb, 2024

  • 具有逆动力学表示的稳健视觉模仿学习

    我们提出了一种新颖的鲁棒模仿学习方法，通过发展逆动力学状态表示学习目标来对齐专家环境和学习环境，通过设计有效的奖励函数来度量行为数据和专家数据之间的相似性，从而在各种视觉扰动和视觉控制任务中实现近乎专家的性能，并显著优于当前最先进的视觉模仿学习方法和鲁棒模仿学习方法。

    Oct, 2023

  • 分治学习模仿

    本文介绍了一种基于序列归纳偏置的，从专家轨迹的状态中模仿复杂机器人任务并实现优化的新算法，将复杂任务拆分成较小的技能，将技能训练为 (goal-conditioned policy)，以便能够逐个解决每个技能并连接技能以完成整个任务，同时证明了该方法经过了无须几个未经过训练的样例即可实现了非完整导航任务和复杂的仿真机器人操作任务。

    Apr, 2022

  • 基于归一化流的观测式模仿学习 (IL-flOw)

    本论文介绍了一种基于状态观测的逆强化学习算法 IL-flOw，其将奖励建模与策略学习解耦，并利用深度密度估计方法生成奖励信号，避免了对抗训练方法的不稳定性问题。通过使用状态转移概率密度作为正向强化学习的奖励信号，实验结果展示了在大规模机器人控制任务上的优秀表现。

    May, 2022

  • 基于策略的样本高效观测模仿学习

    本文提出了 SEILO，这是一种新颖的 ILO 的样本有效的 on-policy 算法，结合了标准的对抗性模仿学习和逆动力学建模，通过此方法能够使智能体从对手过程和行为克隆损失中接收反馈，我们实证表明，相比于其他现有的 on-policy ILO 和 ILD 方法，我们所提出的算法需要更少的与环境的交互才能实现专家绩效。

    Jun, 2023

  • 具有未知转换的可证明高效的对抗性模仿学习

    本文旨在探究在不确定转移条件下对对手模仿学习策略的理论基础。我们提出一种算法 MB-TAIL，它可以达到最小最大优化专家样本复杂度并改善了当前已知最佳算法 OAL 的交互复杂度。此外，我们通过将其扩展到函数逼近设置来展示 MB-TAIL 的泛化能力，并证明它可以实现独立于状态空间大小的专家样本和交互复杂度。

    Jun, 2023