逆强化学习交互式教学算法

IJCAIMay, 2019

Interactive Teaching Algorithms for Inverse Reinforcement Learning

Parameswaran Kamalaruban, Rati Devidze, Volkan Cevher, Adish Singla

TL;DR本研究探究了带有教师辅助的反向强化学习问题，提出了一种交互式教学框架，设计了两种具体教学算法：全知教学和黑盒教学，最后在汽车驾驶仿真环境中进行了实验并证明了教学算法的效果。

Abstract

We study the problem of inverse reinforcement learning (IRL) with the added twist that the learner is assisted by a helpful teacher. More formally, we tackle the following algorithmic question: How could a teacher provide an informative sequence of demonstrations to an IRL learner to s

inverse reinforcement learning teacher-assisted learning interactive teaching framework sequential variant convergence guarantees

发现论文，激发创造

逆强化学习的机器教学：算法与应用

该研究提出了一种基于机器教学的逆强化学习方法，利用最小数量的演示数据来学习策略并提高泛化性能。同时，还发展了一个新的学习方法，在一些应用中可以从信息丰富的演示数据中更加高效地学习到奖励函数。

May, 2018

有限反馈下交互式教授逆强化学习器

我们研究了在顺序决策任务中通过示范进行教学的问题，特别关注教师无法访问学习者的模型和策略，仅有由教师选择的起始状态的轨迹作为反馈的情况。我们通过有限反馈的教学过程进行形式化，并提出了解决该教学问题的算法。该算法使用了改进的主动风险价值法来选择起始状态，改进的最大因果熵算法来推断策略，并使用困难度评分比方法来选择教学示范。我们在合成的汽车驾驶环境中对该算法进行了测试，并得出结论：当学习者的反馈有限时，所提出的算法是一种有效的解决方案。

Sep, 2023

逆强化学习的主动探索

本文提出使用主动探索策略的逆强化学习算法（AceIRL），该算法通过构造置信区间捕捉潜在的奖励函数，寻找信息最充分的环境区域的探索策略，从而快速学习专家的奖励函数和制定一个良好的策略。AceIRL 是第一种不需要环境生成模型并具有样本复杂度界限的主动逆强化学习方法，并与具备环境生成模型情况下的样本复杂度相匹配，在模拟实验中证明 AceIRL 优于其他探索策略。

Jul, 2022

从摘要数据中进行反向强化学习

该论文介绍了一种新的逆向强化学习方法，该方法不需要对数据进行特定的简化假设，可以在不确定简化函数的情况下进行推理和评估参数不确定性。

Mar, 2017

具有次优专家的逆强化学习

给定一个包含多个次优专家行为的问题，我们将逆向强化学习（IRL）方法扩展到了这种情况，研究了与给定专家集兼容的奖励函数的理论性质，并分析了使用生成模型估计可行奖励集的统计复杂性，得到了一个具有极小极大最优性的均匀采样算法。

Jan, 2024

通过估计演示者的专业知识进行逆强化学习

使用不完美和异构演示在模仿学习中存在相当大的挑战，本文介绍了一种名为 IRLEED 的新框架，通过估计演示者的专业水准，克服了现有逆强化学习算法中对不完善演示的缺陷，并结合最大熵逆强化学习框架从多样的不完善演示中高效地得出最优策略。通过在线和离线模仿学习设置以及模拟和人工生成的数据进行的实验表明，IRLEED 具有适应性和有效性，成为从不完善演示中学习的通用解决方案。

Feb, 2024

加速逆强化学习与专家引导

通过更好地利用专家演示，我们提出了两种简单的方法，即将专家演示数据放入内部强化学习算法的重放缓冲区中以直接通知学习器高奖励状态，以及在 Q 值引导中使用专家操作以改善目标 Q 值估计并更准确地描述高价值专家状态。在 MuJoCo 任务套件中，我们的方法相对于 MaxEntIRL 基准在 HalfCheetah-v2 上将恢复速度提高 2.13 倍，在 Ant-v2 上提高 2.6 倍，在 Hopper-v2 上提高 18 倍，在 Walker2d-v2 上提高 3.36 倍。

Feb, 2024

视频游戏的逆强化学习

通过改良强化学习反求解奖励函数模型的 CNN-AIRL 方法以及使用对电子游戏环境进行了调整的自动编码器将专家演示转化为奖励网络的输入，本文在简单的 Catcher 游戏上取得了高水平表现，显著超越了 CNN-AIRL 基线，但在 Enduro Atari 赛车游戏中表现不佳，这彰显了需要进一步研究的必要性。

Oct, 2018

如果我错了请纠正我：机器人操纵的交互学习

提出一种交互学习框架 CEILing，利用来自人类教师的纠正和评估反馈，来训练一个随机策略，从而有效地解决了机器人在视觉观测中进行复杂动作操作的问题。

Oct, 2021

通过元反强化学习学习意图的先验知识

本文通过学习先验 (prior) 函数从其他任务的演示中推断奖励函数 (reward functions)，以优化从有限的演示中推断表达丰富的奖励函数的能力，并演示了该方法可以有效地从图像中恢复新任务的奖励。

May, 2018