Jun, 2024

通过即时状态条件的动作抽象实现高效蒙特卡罗树搜索

PDF
TL;DR基于组合结构的行为抽象可以提高蒙特卡洛树搜索在具有复杂动作空间问题上的效率。本研究通过学习一个潜在的动态模型和辅助网络，构建了一种状态条件行为抽象方法，用于减少搜索空间并提高采样效率，并在实验中展示了其比传统 MuZero 方法更好的采样效率。
发现论文，激发创造
  • 使用状态抽象的弹性蒙特卡罗树搜索在策略游戏中的应用

    本文提出了一种名为弹性 MCTS 的算法，该算法使用状态抽象来玩策略游戏，通过动态聚类树节点，利用状态抽象带来的有效搜索同时避免了使用状态抽象对整个搜索的负面影响，并通过 Stratega 平台进行验证实验，结果表明 Elastic MCTS 相对于 MCTS 基线的性能提高了很多，同时将树的大小缩小了 10 倍。

    May, 2022

  • 用概率树状态抽象加速蒙特卡罗树搜索

    通过引入概率树状态抽象（PTSA）算法，改善了常见的蒙特卡罗树搜索（MCTS）算法的搜索效率，并且与最先进的算法结合使用，降低了 10% 至 45% 的搜索空间。

    Oct, 2023

  • 通过继承表征进行离散状态 - 行动抽象化

    本文提出了一种自动学习基于状态抽象的离散化模型，命名为 Discrete State-Action Abstraction (DSAA)，可以有效地解决强化学习中的任务，并且对探索方案的影响进行了模拟和验证。

    Jun, 2022

  • 连续蒙特卡罗图搜索

    本文提出了 Continuous Monte Carlo Graph Search（CMCGS），一种将 Monte Carlo Tree Search（MCTS）扩展到连续状态和动作空间的在线规划方法，并在 DeepMind Control Suite 基准测试和 2D 导航任务中表现优异。

    Oct, 2022

  • 学习即规划：通过蒙特卡罗树搜索实现接近 Bayes 最优强化学习

    使用前向搜索稀疏采样算法（FSSS）可以实现接近 Bayes 最优行为，从而使用 Monte-Carlo 树搜索算法有效地处理状态空间极大或无限大的马尔可夫决策过程（MDPs）。

    Feb, 2012

  • MAXQ 层次强化学习中的状态抽象

    本篇论文研究了具有时间抽象的层次强化学习中的具有状态抽象的学习方法，证明了 MAXQ-Q 学习算法在一定的条件下收敛，并通过实验表明了状态抽象对 MAXQ-Q 学习的成功应用十分重要。

    May, 1999

  • 分层蒙特卡洛树搜索的自动驾驶车辆分散协作规划

    这篇论文介绍了一种基于蒙特卡洛树搜索的去中心化合作规划方法，通过使用宏操作来描述自动驾驶车辆在不同的环境中的合作规划，实现不同交通参与者之间的协调和显式建模。

    Jul, 2018

  • 使用宏操作的马尔可夫决策过程的层次解决方案

    本文提出了一种使用抽象 MDP 的分层模型，该模型仅与 Macro-actions 一起工作，并显着减少了状态空间的大小，以及讨论了生成 Macro-actions 的几种方法和重用它们以解决多个相关 MDPs 的方式。

    Jan, 2013

  • 学习抽象世界模型用于值保持规划和选项

    通过学习抽象 MDP（Markov 决策过程）来提高智能体在多任务环境中的决策和学习效率。

    Jun, 2024

  • 具备继承特性的选项传输和 SMDP 抽象

    本文研究了强化学习中的联合时间和状态抽象，其中采用继承特征的新颖抽象机制，使得抽象选项可以在不同环境下转移并进行有效规划。

    Oct, 2021