基于观察的模仿学习与自动折扣调度

ICLROct, 2023

基于观察的模仿学习与自动折扣调度

Imitation Learning from Observation with Automatic Discount Scheduling

Yuyang Liu, Weijun Dong, Yingdong Hu, Chuan Wen, Zhao-Heng Yin...

TL;DR通过自动折扣调度的机制适应性地改变强化学习的折扣系数，我们提出了一种新颖的观察学习框架，使得代理能够在掌握较早行为之后再逐步转向后续行为，并通过在九个 Meta-World 任务上的实验证明该方法在所有任务中明显优于现有方法。

Abstract

Humans often acquire new skills through observation and imitation. For robotic agents, learning from the plethora of unlabeled video demonstration data available on the Internet necessitates imitating the expert without access to its action, presenting a challenge known as imitation learning<

imitation learning observation data inverse reinforcement learning progress dependency property discount scheduling

发现论文，激发创造

基于观测的离策略模仿学习

本文提出了一个基于观察学习的学习方法，包括分布匹配、离线策略学习和倒置动作模型，能够在性能和样本效率上与最先进的方法相媲美。

Feb, 2021

基于策略的样本高效观测模仿学习

本文提出了 SEILO，这是一种新颖的 ILO 的样本有效的 on-policy 算法，结合了标准的对抗性模仿学习和逆动力学建模，通过此方法能够使智能体从对手过程和行为克隆损失中接收反馈，我们实证表明，相比于其他现有的 on-policy ILO 和 ILD 方法，我们所提出的算法需要更少的与环境的交互才能实现专家绩效。

Jun, 2023

基于引导对比学习的观察模仿

本文提出了基于视觉演示的学习控制策略的一种 IfO 算法，名为 BootIfOL，该算法旨在学习一种从智能体轨迹到目标轨迹的距离度量方式，通过对比学习训练出智能体控制策略，实验结果表明该算法可以在有限的演示轨迹上训练出有效的策略。

Feb, 2023

基于观测的可证明高效仿真学习

设计了一种新的模型无关算法用于能够从观察中学习的模仿学习，可以在大规模的马尔可夫决策过程中学习得到一种近似最优的策略，具有多项式样的效率。

May, 2019

通过最优传输从观察中进行模仿学习

实时观察下的模仿学习 (ILfO) 中，利用最优传输来生成奖励函数，通过状态轨迹的 Wasserstein 距离衡量学习者和专家之间的差异，无需学习模型或对抗学习，可以与任何强化学习算法集成，并适用于 ILfO，能在多个连续控制任务中超越现有方法，在单个专家轨迹无动作观测的情况下实现专家级性能。

Oct, 2023

通过预测观察来模仿

本文基于未来观察奖励模型，提出了一种新的依靠观察数据进行模仿学习的方法，可以在连续控制任务中表现出与人类专家相当的性能，同时在存在与任务无关的观察数据时表现出鲁棒性。

Jul, 2021

从观测中学习模仿最新进展

本文为观察式模仿学习提供了文献综述，并指出了一些开放性研究问题和未来可行性工作。

May, 2019

通过转换模型不一致性学习观测到的模仿

本文提出了一种利用中间策略来训练学习者的一种方法，该中间策略可以近似地执行专家的策略，以便用于不同环境下的模仿学习，并在 MuJoCo 运动任务中取得了良好的结果。

Apr, 2022

分治学习模仿

本文介绍了一种基于序列归纳偏置的，从专家轨迹的状态中模仿复杂机器人任务并实现优化的新算法，将复杂任务拆分成较小的技能，将技能训练为 (goal-conditioned policy)，以便能够逐个解决每个技能并连接技能以完成整个任务，同时证明了该方法经过了无须几个未经过训练的样例即可实现了非完整导航任务和复杂的仿真机器人操作任务。

Apr, 2022

通过自监督奖励回归学习低效演示

本文提出了一种新的方法通过子优示范来合成优化参数化的数据来训练理想的奖励函数，从而克服了旧方法在使用子优示范时的一些限制，实现了更好的性能。

Oct, 2020