ICMLFeb, 2022

最大状态熵探索中的非马尔可夫性的重要性

PDF
TL;DR该研究基于最大状态熵的探索框架，讨论了在有限的样本情况下，非马尔科夫探索的重要性，并提出了基于非马尔科夫确定性策略的新目标，并证明了标准马尔科夫策略的劣势，建议未来的工作将注重如何在可接受的复杂度下找到一个最优的非马尔科夫策略，从而提高在线强化学习的样本效率。
maximum state entropymarkovian policiesnon-markovian explorationonline reinforcement learningsample efficiency
发现论文，激发创造
  • 基于非参状态熵估计的策略梯度无任务探索

    本文通过提出新的策略搜索算法 MEPOL（Maximum Entropy POLicy optimization)，并在实验中展示了它在高维、连续控制领域中学习最大熵策略的能力，为研究 agent 在无奖励环境中探索最优策略的内在目标提供了一种可行的选择。

    Jul, 2020

  • 可证明高效的最大熵探索

    该研究采用条件梯度法，利用近似 MDP 求解器提供高效算法，解决了在没有奖励信号的情况下对一类内在目标进行优化的问题。

    Dec, 2018

  • 如何在 POMDPs 中通过信念进行探索：状态熵最大化

    本文研究了强化学习中的状态熵最大化，针对部分观测的真实状态提出了一种内存和计算效率高的策略梯度方法，解决了目标近似、优化和幻觉问题，旨在推广状态熵最大化到更现实的领域。

    Jun, 2024

  • 部分可观测马尔可夫决策过程中纯探索策略的局限性：观测信息熵的足够性

    在部分可观测性问题中，本文研究了将状态熵最大化的简单方法，并提供了对真实状态熵的逼近的上下界，以及如何利用观测函数的特性来计算观测熵的合理化的方法，从而提高性能和对 POMDP 环境下状态熵最大化的进展进行了理论性的描述。

    Jun, 2024

  • 一种用于动作 - 状态熵正则化奖励最大化的通用马尔可夫决策过程形式化方法

    提供将约束优化问题转换为无约束凸优化问题的一般性双重函数形式主义，适用于动作和状态熵的任意混合，其中，动作熵和状态熵的纯形式被理解为混合的极限。这解决了前人关于动作、状态和混合熵正则化、纯探索和空间占用等问题的解决方案很麻烦的难题。

    Feb, 2023

  • 通过最大化 Rényi 熵进行无奖励强化学习框架探索

    通过最大化 Renyi 熵的方法，提出了一种适用于元 RL 的无奖励强化学习框架，该框架有效地解决了探索和利用分离的问题，并设计了相应的强化学习算法 (batch RL algorithm) 以便在规划阶段中能更好地处理任意奖励函数。

    Jun, 2020

  • 寻求熵：从内在动机到占据行动状态路径空间的复杂行为

    本研究发现，追求长期探索的智能体在没有外部奖励的情况下也能够表现出复杂的行为。研究表明，动作状态路径熵是唯一能够实现期望未来行为状态路径覆盖的一种量度。通过离散和连续状态的任务，我们展示了跳舞、捉迷藏和基本形式的利他行为可以自然而然地从熵追求中得出。如此基于内在动机的智能体能够客观地确定什么状态构成奖励，并利用它们最大化行为状态路径熵

    May, 2022

  • 非马尔可夫奖励强化学习

    研究了在具有非马尔可夫奖励的情况下，采用 Q-learning 和 R-max 算法和自动机学习算法相结合的方法用于策略学习并证明其中一些变体在极限状态下收敛到最优策略。

    Dec, 2019

  • 使用值条件状态熵探索加速强化学习

    本文提出了一种基于价值条件下的状态熵探索技术，该技术通过最大化条件价值估计的状态熵的平均值，分别估计每个状态的状态熵，再通过只考虑状态价值估计相似的访问状态来计算内在奖励，从而避免了低价值状态分布影响高价值状态周围的探索，加速了多种 RL 算法在各种任务中的表现。

    May, 2023

  • 潜在状态边际化：改善探索的低成本方法

    本文介绍了一种称为 SMAC 的算法，它使用最大熵强化学习框架中的潜在变量策略来提高探索和稳健性能力，并在连续控制任务上进行实验验证。

    Oct, 2022