Jan, 2016

逆强化学习中解决不可识别性问题的研究

HTML
PDF
TL;DR考虑逆强化学习的设置，其中学习者扩展了主动选择多个环境的能力，从而观察代理在每个环境中的行为。我们首先展示了，如果学习者可以在一些固定的状态和行动集上尝试任何过渡动态，那么存在一种重建代理奖励函数的算法，其理论上可能性最大，并且仅需要少量(对数级别)的实验。接着，我们将这个设置扩展到更加现实的情况，即学习者可能无法选择任何转移动态，而是受到一些固定环境的限制。我们将实验中得到的信息最大化问题与次模函数最大化联系起来，并展示了贪心算法是近似最优的(对数因子)。最后，我们在一个受行为心理学启发的环境中对我们的算法进行了实证验证。
发现论文，激发创造
  • 同时估计奖励与动态的逆强化学习

    本文提出了一种基于梯度的逆强化学习方法，同时估计系统动态，以后解决由生成策略引起的演示偏差，有效提高了样本利用率并准确估计奖励和转移模型，该方法在合成MDP和转移学习任务上都得到了改进。

    Apr, 2016

  • 逆强化学习综述：挑战、方法与进展

    本文对逆强化学习领域的现有文献进行了分类调查，介绍了IRL问题和其挑战，讨论了目前的解决方法，并探讨了处理传感不准确、不完整的模型、多个奖励函数和非线性奖励函数等问题的方法，同时总结了该领域的研究进展和当前未解决的问题。

    Jun, 2018

  • 逆强化学习的最大似然约束推断

    本文针对马可夫决策过程上的反向强化学习问题，即通过一个环境模型以及一个奖励函数，推断出状态、行动、和特征限制，以此来激励智能体的行为。本文针对该问题提出了一个基于最大熵IRL的方法，并提出了一个迭代算法，以最大似然的方式推断最佳的约束条件，同时通过仿真实验和现实数据验证了其有效性。

    Sep, 2019

  • 基于梯度学习器的逆强化学习

    本文提出了用于从机器人的多次策略中恢复策略目标的新算法。该算法基于观察所观察到的代理程序沿梯度方向更新其策略参数的假设。

    Jul, 2020

  • 逆强化学习中的可识别性

    通过使用熵正则化，我们解决了马尔科夫决策问题中的奖励函数的非可辨识性问题，并完全表征给定环境下导致特定策略的奖励函数，同时演示了在不同折扣系数或足够不同的环境下给定奖励的行动演示下未被观察到的奖励可以恢复至常量。此外，我们还提供了在有限视野内对时间同质奖励和独立于行动的奖励进行重建的普遍必要和充分条件。

    Jun, 2021

  • 逆强化学习环境设计

    通过适应性设计专家演示环境，改善学习效率和鲁棒性，解决基于专家演示学习和环境动力学变化下的奖励函数学习挑战。

    Oct, 2022

  • 倒置强化学习的理论理解

    本文中，我们介绍了使用生成模型的有限时间问题中逆强化学习（IRL）的可行奖赏估计问题，提出了关于可行奖赏集合的最小最大下界，并分析了平均复杂度。

    Apr, 2023

  • 一种鲁棒逆强化学习的贝叶斯方法

    我们提出了一种贝叶斯方法来进行离线模型基于的逆向强化学习(IRL)。该方法通过同时估计专家的奖励函数和对环境动态的主观模型，与现有的离线模型基于IRL方法有所不同。我们利用一类先验分布，参数化了专家对环境的模型准确性，以此开发出高维环境中估计专家奖励和主观动态的高效算法。我们的分析揭示了一个新的观点，即当先验认为专家对环境有高度准确的模型时，估计出的策略表现出了稳健的性能。我们在MuJoCo环境中验证了这个观察结果，并展示了我们的算法在离线IRL问题上优于最先进的方法。

    Sep, 2023

  • 反向强化学习是否比标准强化学习更困难？

    逆强化学习（IRL）是学习奖励函数的问题，该问题通过对专家策略的演示来开发理解和模仿人类行为等智能系统起着关键作用。本文提供了首批有效的IRL结果，包括离线和在线设置，使用多项式采样和运行时间等方面的效率。使用RLP和RLE算法，我们分别设计了离线和在线设置的IRL算法，并建立了样本复杂度的下界，表明RLP和RLE算法是近乎最优的。此外，我们还展示了学习的奖励函数在具有适当相似性假设的目标MDP上的转移能力。

    Nov, 2023

  • 离线逆强化学习：新的解决方案概念和可证明高效算法

    逆强化学习（IRL）的目标是从行为示范中恢复专家智能体的奖励函数。本文介绍了一种新的可行奖励集概念，捕捉了离线设置的机会和限制，并分析了其估计的复杂性。通过引入针对该设置固有困难的原始学习框架，我们提出了两种计算和统计高效的算法，IRLO和PIRLO，用于解决这个问题。

    Feb, 2024