本文提出了一种基于生成对抗自模仿学习 (GASIL) 的简单正则化方法，旨在通过基于生成对抗模仿学习框架鼓励智能体模仿过去的良好轨迹，而非直接最大化奖励，从而在奖励稀疏和滞后时更容易进行长期信用分配。通过使用 GASIL 作为学习形状奖励函数，将其与任何策略梯度目标轻松结合。实验结果显示，GASIL 改进了 2D PointMass 和 MuJoCo 环境下基于接近策略优化的性能。

Dec, 2018

使用基于生成对抗神经网络的方法进行模仿学习具有许多优点，但是由于使用了无模型强化学习算法，需要与实际环境进行大量交互来训练生成器。为此，提出了基于模型的熵正则化模仿学习算法（MB-ERIL），通过基于熵正则化马尔可夫决策过程，减少与实际环境的交互次数。MB-ERIL 使用了两个判别器，通过结构化判别器，MB-ERIL 的学习效率得到了提高。计算机模拟和真实机器人实验表明，与基线方法相比，MB-ERIL 取得了具有竞争力的性能，并显着提高了样本效率。

Jun, 2022

本文提出了一种基于变分自编码器的策略嵌入方法，相比传统的监督学习方法和生成对抗网络的模仿学习，该方法可以从更少的示范数据中学习到更为鲁棒的控制器，并避免了模式坍塌现象。

Jul, 2017

通过引入一种新的奖励学习模块，可通过生成模型生成内在奖励信号。我们的生成功能可以更好地执行前向状态转换和后向动作编码，提高模块在环境中的动力学建模能力，并为模仿代理提供了模仿者的内在意图和更好的探索能力。经验证明，我们的模型在多个 Atari 游戏中的表现优于现有的 IRL 方法，即使只有一次演示，性能也是演示的 5 倍。

Jun, 2020

提出了一种提取专家行为策略的新框架，直接从数据中提取策略，将模仿学习与生成对抗网络进行比拟，提出了无模型模仿学习算法，并证明该算法在模仿大型、高维度环境中的复杂行为时相对于现有无模型模仿学习方法具有明显性能提升。

Jun, 2016

本文介绍两种基于模型的算法，利用 Follow-the-Leader（FTL）规则来提高在线模仿学习系统的收敛速度，其中 MoBIL-VI 算法基于解决变分不等式，而 MoBIL-Prox 算法基于随机一阶更新，这两种方法都利用模型来预测未来的梯度，可以使该学习算法的样本利用率更高。

Jun, 2018

本研究提出了一种名为 GRI 的新方法，将探索和专家数据的优点相结合，简单易实现。通过提出离线演示智能体的概念，将专家数据与在线探索智能体的经验同时处理，证明了该方法在基于视觉的城市道路场景下的自主驾驶和 Mujoco 连续控制任务上的有效性，并在 CARLA Leaderboard 上取得了第一名。

Nov, 2021

该论文提出了一种基于深度高斯过程模型的新逆向强化学习方法，可在少量演示情况下学习复杂的奖励结构，并通过最大熵学习框架与状态特征空间相链接。通过自行开发的非标准变分近似框架，可进行特征空间的近似贝叶斯处理，并防止过度拟合。在该模型中同时进行表示和逆向强化学习性能优于现有技术。已在标准基准测试中进行实验验证（“物体世界”、“高速公路驾驶”）以及新的基准测试（“二进制世界”）。

Dec, 2015

本文介绍应用生成对抗性模仿学习方法，通过有限的高维仿人体运动演示数据，训练神经网络策略以产生类人的运动模式，并利用该方法构建子技能策略解决高维身体姿态控制任务。

Jul, 2017

介绍了一种名为 Disentangling Generative Adversarial Imitation Learning（DisentanGAIL）的新算法，可通过对抗学习来自动学习高维度任务表现观察的特征，从而成功进行模仿，同时忽略专家和代理之间的差异，此算法在包括平衡、操纵和运动任务在内的各种控制问题中都具有高效性和稳健性。

Mar, 2021