Jul, 2024

分层平均奖励线性可解的马尔可夫决策过程

HTML
PDF
TL;DR我们提出了一种新颖的层次强化学习方法，针对无限时域平均奖励设置中的线性可解决的马尔可夫决策过程（LMDPs）。与以往的工作不同，我们的方法允许同时学习低级和高级任务，而不对低级任务施加限制。我们的方法依赖于创造较小子任务的状态空间分割，并利用这种分割的等价性以实现更高效的学习。然后，我们利用低级任务的组合性来准确表示高级任务的价值函数。实验表明，我们的方法可以比平坦的平均奖励强化学习高出一到几个数量级。
发现论文，激发创造
  • 强化学习中任务规范的统一

    介绍了一种RL任务形式化的方法，通过简单的构造实现了不同任务设置的统一，包括状态转移折扣的概括；并拓展了标准学习构造和部分理论结果，提供了一个可理解和可靠的形式化框架来构建理论和简化算法使用和开发。

    Sep, 2016

  • 基于非负矩阵分解的分层子任务发现

    提出一种基于MLMDP框架的新算法，使用非负矩阵分解来发现领域中的最小任务基础集，该技术学习了各种领域的直观任务分解，包括具有单个目标状态和分布式首选状态的子任务，并具有不同的层次分解结构，同时可以简单地迭代以获得更深的层次分解。

    Aug, 2017

  • 平均奖励马尔科夫决策过程的学习和规划

    本研究提出了一种基于平均报酬MDPs的学习和规划算法，其中包括第一种无参考状态的普遍证明收敛的无模型控制算法、第一个证明收敛的无政策自由预测算法，以及第一个离线学习算法，其收敛于实际值函数而不是值函数增加一个偏移量。在使用时间差错错误而不是常规错误更新平均报酬估计时，我们的所有算法都基于此。

    Jun, 2020

  • 层次强化学习的抽象值迭代

    提出一种新的基于连续状态和动作空间的控制的分层强化学习框架，其中用户指定状态的子集作为子目标区域，然后学习这些子目标区域之间的转换，并在生成的抽象决策过程(ADP)中构建高层计划，通过计划在抽象层和在具体层上的学习相结合的一个实际算法，优于现有的分层强化学习算法。

    Oct, 2020

  • 通过奖励塑造在基于情节的强化学习中利用多重抽象

    研究提出了一种基于奖励设计的强化学习算法，通过使用层次结构的抽象模型，将抽象层级中的解决方案用于指导更复杂领域的学习，从而提高了学习效率且具有实际应用价值。

    Feb, 2023

  • 关于马尔可夫奖励在表达多目标、风险敏感和模态任务方面的限制

    本文研究了强化学习中标量马尔可夫奖励函数的表达能力，并确定了其所能表达的局限性。具体而言，我们关注三类强化学习任务；多目标强化学习、风险敏感强化学习和模态强化学习。针对每个类别，我们推导出描述该类别问题可使用标量马尔可夫奖励函数的必要和充分条件。此外，我们发现标量马尔可夫奖励函数无法表达每个类别中大多数实例。因此，我们为了更全面地了解标准奖励函数能够和不能够表达的内容做出了贡献。除此之外，我们还特别提到模态问题作为一个新的问题类别，因为目前强化学习文献中还没有对其进行系统性研究。我们还简要概述了通过专门的强化学习算法解决我们讨论的某些问题的方法。

    Jan, 2024

  • 多智能体强化学习与奖励机器的层次

    本文研究利用奖励机器（RMs）来指定奖励函数，从而利用任务中高级事件的先前知识来促进学习效率的合作多智能体强化学习（MARL）问题。我们提出了具有层次结构的高级事件的多智能体强化学习（MAHRM），能够应对多智能体之间事件可以并发发生且代理具有高度相互依赖的复杂情况，通过分解任务为一系列更简单的子任务，并分配给少量智能体来减少整体计算复杂性。在三个合作MARL领域的实验结果表明，MAHRM在使用相同的高级事件先前知识时优于其他MARL方法。

    Mar, 2024

  • 选项的强化学习

    目前的论文旨在探索强化学习领域，并在现有方法的基础上构建改进方法，以解决高维度和复杂环境中的学习问题。它通过分层的方式（称为层次强化学习）来分解学习任务，通过构建自主地学习层级结构的代理来提高效果。

    Mar, 2024

  • 可证明高效的无限时间平均回报线性MDP的强化学习

    设计了一个计算有效的算法，通过将平均奖励设定近似为折扣设定，并且在适当调整贴现因子时，通过运行基于乐观值迭代的算法来实现无限时段平均奖励线性马尔可夫决策过程(MDP)的 O(sqrt(T)) 的遗憾。

    May, 2024

  • 在弱通信马尔可夫决策过程中平均奖励Q学习的收敛性

    本文研究了在平均奖励标准下的马尔可夫决策过程中的强化学习算法，特别关注基于相对价值迭代的Q学习算法，这些算法适用于大状态空间问题。研究延伸了之前的几乎确定收敛性分析，使其适用于更广泛的弱通信MDP，为理论和应用提供了重要的 insights，并证明了算法收敛的集合具有丰富的结构。

    Aug, 2024