利用预测模型加速模仿学习

Jun, 2018

Accelerating Imitation Learning with Predictive Models

Ching-An Cheng, Xinyan Yan, Evangelos A. Theodorou, Byron Boots

TL;DR本文介绍两种基于模型的算法，利用 Follow-the-Leader（FTL）规则来提高在线模仿学习系统的收敛速度，其中 MoBIL-VI 算法基于解决变分不等式，而 MoBIL-Prox 算法基于随机一阶更新，这两种方法都利用模型来预测未来的梯度，可以使该学习算法的样本利用率更高。

Abstract

Sample efficiency is critical in solving real-world reinforcement learning problems, where agent-environment interactions can be costly. Imitation learning from expert advice has proved to be an effective strategy for reducing the number of interactions required to train a policy. Online imitation learning, which interleaves policy evaluation and policy opti

imitation learning online learning model-based algorithms policy learning convergence rate

发现论文，激发创造

无模型模仿学习与策略优化

在模仿学习中，我们使用基于样本的方法开发了一种基于策略梯度的算法，即通过学习专家的样本轨迹，找到至少与专家策略一样好的参数化随机策略；该算法可以应用于高维度环境，并保证收敛到局部最小值。

May, 2016

生成性前继模型用于高效模仿学习

提出了基于生成模型的前身模型的模仿学习算法，能够将状态 - 动作分布与专家演示中观察到的分布匹配，并使用概率化模型对演示状态的可替代历史进行推理，证明这种方法仅需少量专家演示和自我监督交互即可学习出健壮的策略，并在实验中与现阶段的模仿学习方法进行比较，结果表明在两个模拟机器人操作任务中表现优秀，且应用于实际机器人上的算法具有显著的样本效率。

Apr, 2019

一种面向离线强化学习的策略引导仿真方法

该研究提出了一种 Policy-guided Offline RL 算法，该算法在训练时将想法分解为指导策略和执行策略，并通过指导策略来指导执行策略以实现状态组合性。该算法在离线 RL 的标准基准 D4RL 上展示了最高效的性能，并可以通过改变指导策略来轻松适应新的任务。

Oct, 2022

基于观测的可证明高效仿真学习

设计了一种新的模型无关算法用于能够从观察中学习的模仿学习，可以在大规模的马尔可夫决策过程中学习得到一种近似最优的策略，具有多项式样的效率。

May, 2019

通过模仿和强化学习实现快速政策学习

本文探讨了一种新的多算法策略，即将多种不同的 RL 和 IL 算法统一到一个 mirror descent 框架下，并提出了名为 LOKI 的基于策略学习的策略，通过 IL 和 RL 的结合可以优于次优专家。

May, 2018

增强模仿学习策略的在线适应性

我们提出通过在线调整来弥补模仿学习中的失败，我们的方法将预训练策略的动作建议与专家记录的相关经验相结合，通过适应的行为更好地模仿专家策略，实验表明适应的智能体表现比纯模仿学习的对应体更好，特别是在基础策略灾难性失败时，适应的智能体仍然能够实现合理的性能。

Jun, 2024

将模仿学习和在线强化学习桥接：一篇乐观的故事

本研究提出了一种基于离线数据集的 RL 算法，结合了 RL 和模仿学习的 iRLSVI 算法，可显著减少后悔度。

Mar, 2023

高效的保守世界模型下的模仿学习

我们通过对专家演示进行政策学习来解决没有奖励函数的问题，并提出了将模仿学习视为微调问题的方法，通过在高维原始像素观测中在 Franka Kitchen 环境上取得了最新的最佳性能，只需要 10 个演示且没有奖励标签，同时解决了复杂的灵巧操作任务。

May, 2024

灵活推理、规划和控制的深度仿真模型

本文提出了模仿模型方法，将模仿学习和目标导向规划相结合，使用概率预测模型生成解释性的专家级轨迹，以实现特定目标。在动态模拟自主驾驶任务中，我们的方法显著优于六种模仿学习方法和一种基于规划的方法，并可以从专家演示中高效地学习。此外，我们的方法对于目标规范不良的情况具有鲁棒性。

Oct, 2018

基于策略的样本高效观测模仿学习

本文提出了 SEILO，这是一种新颖的 ILO 的样本有效的 on-policy 算法，结合了标准的对抗性模仿学习和逆动力学建模，通过此方法能够使智能体从对手过程和行为克隆损失中接收反馈，我们实证表明，相比于其他现有的 on-policy ILO 和 ILD 方法，我们所提出的算法需要更少的与环境的交互才能实现专家绩效。

Jun, 2023