Feb, 2024

监控的马尔可夫决策过程

PDF
TL;DR在本文中，我们提出了一种新的强化学习框架 - 监控马尔可夫决策过程（Monitored MDPs），该框架解决了强化学习中奖励无法被完全观测到的问题，并讨论了该设置的理论和实践后果，提出了相应的算法。
reinforcement learningmonitored mdpsrewardsobservabilityalgorithms
发现论文，激发创造
  • 特征强化学习：第一部分：非结构化 MDPs

    本文研究如何自动化减少任务的状态表达，以将通用的智能学习机设定为 MDP 框架，从而扩大许多现有强化学习算法和使用它们的机器人的范围，并开发一种形式化的客观标准作为搜索可行 MDPs 的指导，并在算法中将各个部分整合到一起。

    Jun, 2009

  • 由学习的环境模型指导的部分可观测性下的强化学习

    本文提出了一种基于 Q-learning 和 IoAlergia 的强化学习方法，用于处理部分可观察环境下的控制系统策略生成，将 RL 与学习环境模型相结合以提供抽象的环境状态获取。实验结果表明，该方法在性能表现上优于六种当下的深度 RL 技术。

    Jun, 2022

  • 当行动被修改时，强化学习代理的行为表现

    通过 Modified-Action Markov Decision Process 模型，分析了强化学习算法在受到监督控制时的适应方法，展示了一些算法能够避免执行操作的更改，开发人员可以通过选择正确的算法来更好地管理其代理响应。

    Feb, 2021

  • 基于目标的冗余观测环境推断

    通过观察其余状态以有效学习核心状态之间的状态转移规则，针对部分可观测马尔科夫决策过程 (POMDP) 提出一种面向目标的强化学习方法。 在逐步添加新的核心状态到转换图中的同时，本模型仅包含核心状态，它监督一小部分核心状态以了解动态环境并获得最佳行为策略，这使其具有良好的可解释性。 此外，该方法适用于在线学习，可以抑制内存消耗并提高学习速度。

    May, 2023

  • 元强化学习作为任务推断

    本文提出一种在元强化学习中用于解决任务信息受限问题的方法，通过利用各种特权信息，分别学习策略和任务信念来解决部分可观测马尔可夫决策问题，从而在元强化学习环境中较为有效地解决标准问题和需要长期记忆的复杂连续控制问题。

    May, 2019

  • 非马尔可夫奖励强化学习

    研究了在具有非马尔可夫奖励的情况下，采用 Q-learning 和 R-max 算法和自动机学习算法相结合的方法用于策略学习并证明其中一些变体在极限状态下收敛到最优策略。

    Dec, 2019

  • 非参数通用强化学习

    本文提出了在非 Markovian、非 ergodic 且只部分可观察的环境下进行强化学习的问题。作者建立了贝叶斯强化学习代理的负面结果，并证明 Thompson 采样在随机环境中是渐进最优的。此外，作者构建了一个大但可计算的类，展示了基于 Thompson 采样的代理在这个类中收敛于任意未知可计算多智能体环境中的纳什均衡。

    Nov, 2016

  • 深度强化学习的马尔可夫状态抽象学习

    该研究提出了一种学习马尔科夫状态抽象表示的新方法，结合逆向模型估计和时态对比学习，可以提高强化学习中的样本效率。

    Jun, 2021

  • 强化学习中的延迟

    研究关于延迟对动态系统、马尔可夫决策过程、强化学习和实证结果的影响。

    Sep, 2023

  • Lazy-MDPs: 基于学习何时采取行动的可解释强化学习

    该论文提出了一种名为 lazy-MDPs 的增强学习新形式，它可以将人类的 “懒惰” 行为方式注入到决策过程中，因此对于解释标准 MDP 的政策能力得到更好的提升，同时该方法在 Atari 游戏中可以实现与竞争水平相当的性能。

    Mar, 2022