Aug, 2014

未知环境下的概率逆向强化学习

HTML
PDF
TL;DR我们考虑了在未知的随机马尔可夫环境或游戏中，从代理人的示范学习的问题。我们旨在估计代理人的偏好，以构建同一任务的改进策略。为了做到这一点，我们将已知MDP中逆强化学习的概率方法扩展到未知动态或对手的情况。我们通过导出演示者策略和效用的两个简化概率模型来实现这一点，为了易于处理，我们使用了最大后验估计而不是完整的贝叶斯推断。在先验分布相同的情况下，这结果是凸优化问题。我们发现所得到的算法与其他了解动态的逆强化学习方法相比具有很高的竞争力。
发现论文，激发创造
  • 偏好引导和逆强化学习

    通过偏好评估，我们提出了Bayesian逆强化学习的一个方法，可以从观察到的信息中得出代理的偏好、策略和奖励序列的后验分布，并通过分析和实验结果展示与其他统计逆强化学习方法之间的关系。结果表明，即使观察到的代理策略不是最优的，我们也能够准确确定其偏好，并得出更好的策略。

    Apr, 2011

  • 具有局部最优示例的连续逆优化控制

    本文介绍了一种适用于大规模连续任务的概率反向最优控制算法，通过使用奖励函数的局部估计值，该方法可以学习来自非全局最优演示的例子，并消除全局最优的假设。

    Jun, 2012

  • 二人零和博弈的多智能体逆强化学习

    本文提出了一种贝叶斯框架，用于解决多智能体逆强化学习问题，在多智能体对战场景下建立了一种理论基础，并针对双智能体零和MIRL问题提出了一种贝叶斯解决方法，结果表明，奖励先验中协方差结构比均值更重要。

    Mar, 2014

  • 多智能体竞争性次优演示逆强化学习

    本文介绍一种新的逆强化学习算法，通过深度神经网络模型近似和零和随机博弈的对抗式训练来寻找纳什均衡和奖励函数，解决了以往基于表格表示无法解决的问题。

    Jan, 2018

  • 强化学习与控制的概率推断：教程与综述

    该研究介绍了一种基于最大熵的强化学习或最优控制方法，该方法在确定性动力学和随机动力学方面分别相当于精确概率推断和变分推断，并探讨了相关算法和未来研究方向。

    May, 2018

  • 逆强化学习的最大似然约束推断

    本文针对马可夫决策过程上的反向强化学习问题，即通过一个环境模型以及一个奖励函数，推断出状态、行动、和特征限制，以此来激励智能体的行为。本文针对该问题提出了一个基于最大熵IRL的方法，并提出了一个迭代算法，以最大似然的方式推断最佳的约束条件，同时通过仿真实验和现实数据验证了其有效性。

    Sep, 2019

  • Bayesian逆强化学习下的演示充分性自主评估

    本文提出一种基于贝叶斯反向强化学习和风险价值的自我评估方法，使得能够从演示中学习的智能体能够计算其性能的高置信度界限，并使用这些界限确定何时具有充足数量的演示。

    Nov, 2022

  • 一种鲁棒逆强化学习的贝叶斯方法

    我们提出了一种贝叶斯方法来进行离线模型基于的逆向强化学习(IRL)。该方法通过同时估计专家的奖励函数和对环境动态的主观模型，与现有的离线模型基于IRL方法有所不同。我们利用一类先验分布，参数化了专家对环境的模型准确性，以此开发出高维环境中估计专家奖励和主观动态的高效算法。我们的分析揭示了一个新的观点，即当先验认为专家对环境有高度准确的模型时，估计出的策略表现出了稳健的性能。我们在MuJoCo环境中验证了这个观察结果，并展示了我们的算法在离线IRL问题上优于最先进的方法。

    Sep, 2023

  • 强化学习中的概率推理正确实施

    强化学习中，通过马尔科夫决策过程的图形模型，以概率推理的方式对各状态-行为对的访问概率进行研究。本研究采用贝叶斯方法，严格处理了状态-行为优化的后验概率，并阐明了其在马尔科夫决策过程中的流动方式。通过引入变分贝叶斯近似方法，得到了一个可行的凸优化问题，建立的策略也能有效地进行探索。该方法称为VAPOR，与汤普森抽样、K学习和最大熵探索有着紧密的联系。通过一些实验，展示了深度强化学习版本VAPOR在性能上的优势。

    Nov, 2023

  • 通向广义逆强化学习

    这篇论文研究了马尔可夫决策过程中的广义逆强化学习(GIRL)，即通过观察到的行为(策略)来学习马尔可夫决策过程的基本组成部分，这些组成部分可能不是最佳的。我们解决了GIRL中的两个关键挑战：首先，需要量化观察到的策略与基本的最优策略之间的差异；其次，在基本的马尔可夫决策过程组成部分不可观察或部分可观察时，对基本的最优策略进行数学描述的困难。然后，我们提出了GIRL的数学形式，并开发了一种快速的启发式算法。有限状态和无限状态问题的数值结果显示了我们的形式化方法和算法的优点。

    Feb, 2024