贝叶斯逆强化学习用于非马尔可夫奖励

Jun, 2024

贝叶斯逆强化学习用于非马尔可夫奖励

Bayesian Inverse Reinforcement Learning for Non-Markovian Rewards

Noah Topper, Alvaro Velasquez, George Atia

TL;DR从专家行为中直接推断出奖励机制（RM）的贝叶斯逆强化学习（BIRL）框架，以非 Markovian 奖励函数为基础进行了重大改进，新的奖励空间定义，将专家示范调整为包括历史，展示了计算奖励后验的方法，并提出了一种模拟退火的新修改方案来最大化后验，通过优化其推断的奖励表现出良好性能，并与学习严格二值非 Markovian 奖励的现有方法进行了有利比较。

Abstract

inverse reinforcement learning (IRL) is the problem of inferring a reward function from expert behavior. There are several approaches to IRL, but most are designed to learn a markovian reward. However, a

inverse reinforcement learning reward function markovian reward reward machine bayesian irl

发现论文，激发创造

核密度贝叶斯逆强化学习

介绍了一种使用基于条件核密度估计的贝叶斯逆转奖励学习（KD-BIRL）的算法，该算法能更有效地近似似然函数和应用于具有复杂和无限状态空间的环境，并在 Gridworld 环境和虚拟 sepsis 治疗任务中展示了其优势。

Mar, 2023

针对限价订单簿动态的逆强化学习研究

本研究探讨了 IRL 是否能从金融随机环境（LOB）中的代理中推断出奖励，并使用先前的线性和高斯过程回归器以及自己的方法通过贝叶斯神经网络（BNN）来模拟其潜在奖励函数，说明非线性奖励函数产生的复杂行为可以通过推断来推断。

Jun, 2019

逆强化学习综述：挑战、方法与进展

本文对逆强化学习领域的现有文献进行了分类调查，介绍了 IRL 问题和其挑战，讨论了目前的解决方法，并探讨了处理传感不准确、不完整的模型、多个奖励函数和非线性奖励函数等问题的方法，同时总结了该领域的研究进展和当前未解决的问题。

Jun, 2018

通过元反强化学习学习意图的先验知识

本文通过学习先验 (prior) 函数从其他任务的演示中推断奖励函数 (reward functions)，以优化从有限的演示中推断表达丰富的奖励函数的能力，并演示了该方法可以有效地从图像中恢复新任务的奖励。

May, 2018

倒置强化学习的理论理解

本文中，我们介绍了使用生成模型的有限时间问题中逆强化学习（IRL）的可行奖赏估计问题，提出了关于可行奖赏集合的最小最大下界，并分析了平均复杂度。

Apr, 2023

具有概率上下文变量的元反强化学习

研究表明通过使用深度潜在变量模型可以实现无监督学习来自不同但相关的任务演示数据的奖励函数，从而有效地解决逆强化学习中从少量演示推断奖励的问题，并在多个连续控制任务中展示了实验结果。

Sep, 2019

逆强化学习的新型变分下界

逆向强化学习通过学习专家轨迹的奖励函数，理解模仿或协作任务，从而消除手动奖励设计的需要。本文提出了一种新的变分下界的逆向强化学习方法 (VLB-IRL)，通过最大化下界相当于最小化近似分布和真实分布之间的逆 Kullback-Leibler 散度，同时学习奖励函数和根据所学奖励函数最大化下界来寻找到达专家级性能的策略，该方法在几个已知领域上优于现有的逆向强化学习算法。

Nov, 2023

同时估计奖励与动态的逆强化学习

本文提出了一种基于梯度的逆强化学习方法，同时估计系统动态，以后解决由生成策略引起的演示偏差，有效提高了样本利用率并准确估计奖励和转移模型，该方法在合成 MDP 和转移学习任务上都得到了改进。

Apr, 2016

一种鲁棒逆强化学习的贝叶斯方法

我们提出了一种贝叶斯方法来进行离线模型基于的逆向强化学习 (IRL)。该方法通过同时估计专家的奖励函数和对环境动态的主观模型，与现有的离线模型基于 IRL 方法有所不同。我们利用一类先验分布，参数化了专家对环境的模型准确性，以此开发出高维环境中估计专家奖励和主观动态的高效算法。我们的分析揭示了一个新的观点，即当先验认为专家对环境有高度准确的模型时，估计出的策略表现出了稳健的性能。我们在 MuJoCo 环境中验证了这个观察结果，并展示了我们的算法在离线 IRL 问题上优于最先进的方法。

Sep, 2023

具有次优专家的逆强化学习

给定一个包含多个次优专家行为的问题，我们将逆向强化学习（IRL）方法扩展到了这种情况，研究了与给定专家集兼容的奖励函数的理论性质，并分析了使用生成模型估计可行奖励集的统计复杂性，得到了一个具有极小极大最优性的均匀采样算法。

Jan, 2024