May, 2022

使用状态抽象的弹性蒙特卡罗树搜索在策略游戏中的应用

PDF
TL;DR本文提出了一种名为弹性 MCTS 的算法，该算法使用状态抽象来玩策略游戏，通过动态聚类树节点，利用状态抽象带来的有效搜索同时避免了使用状态抽象对整个搜索的负面影响，并通过 Stratega 平台进行验证实验，结果表明 Elastic MCTS 相对于 MCTS 基线的性能提高了很多，同时将树的大小缩小了 10 倍。
state abstractionelastic mctsstrategy gamesai agentscombinatorial search space
发现论文，激发创造
  • 通过即时状态条件的动作抽象实现高效蒙特卡罗树搜索

    基于组合结构的行为抽象可以提高蒙特卡洛树搜索在具有复杂动作空间问题上的效率。本研究通过学习一个潜在的动态模型和辅助网络，构建了一种状态条件行为抽象方法，用于减少搜索空间并提高采样效率，并在实验中展示了其比传统 MuZero 方法更好的采样效率。

    Jun, 2024

  • 用概率树状态抽象加速蒙特卡罗树搜索

    通过引入概率树状态抽象（PTSA）算法，改善了常见的蒙特卡罗树搜索（MCTS）算法的搜索效率，并且与最先进的算法结合使用，降低了 10% 至 45% 的搜索空间。

    Oct, 2023

  • 使用 MCTSnets 学习搜索

    该论文提出了一种名为 MCTSnet 的体系架构，其将基于模拟的搜索嵌入神经网络中，并通过向量嵌入扩展，评估和备份。该网络的参数进行端到端的训练优化，应用于小范围的搜索中，显著优于 MCTS 基线的性能。

    Feb, 2018

  • 明智地利用思考时间：使用虚拟扩展加速 MCTS

    本文提出了一种计算时间与性能之间折衷的新算法 Virtual-MCTS，可以适应性地将更多的计算时间用于更困难的状态上，同时相对较少地用于简单状态，演示表明此方法在限时和限制的资源任务下具有很好的性能表现，相较于原算法仅需 50% 以下的计算时间。

    Oct, 2022

  • 学习停止：动态模拟蒙特卡罗树搜索

    本文提出一种名为 Dynamic Simulation MCTS 的算法，它通过预测当前状态的不确定性来决定是否停止搜索，实现了在不降低胜率的情况下，将 NoGo 智能体训练速度提高了 2.5 倍，并在同样的平均模拟次数下，取得了 61% 的胜率。

    Dec, 2020

  • 蒙特卡洛树搜索：近期修改和应用综述

    本文调查了 Monte Carlo Tree Search (MCTS) 在领域特定修改和混合方法方面的应用，这种方法依赖于智能树搜索并平衡探索和利用。

    Mar, 2021

  • 连续蒙特卡罗图搜索

    本文提出了 Continuous Monte Carlo Graph Search（CMCGS），一种将 Monte Carlo Tree Search（MCTS）扩展到连续状态和动作空间的在线规划方法，并在 DeepMind Control Suite 基准测试和 2D 导航任务中表现优异。

    Oct, 2022

  • 单智能体优化：通过蒙特卡罗树搜索进行策略迭代

    本文提出了一种使用基于 Monte-Carlo Tree Search 和深度强化学习相结合的方法的搜索算法，通过 1）用于潜在无限奖励问题的新颖行动价值规范机制，2）定义虚拟损失函数实现有效搜索并行化，以及 3）由自我对弈逐代训练的策略网络引导搜索，来提高搜索算法的效果。我们在同类游戏 SameGame 上进行实验，结果表明我们的算法在多个游戏宽度上优于基准算法，并与公共状态搜索问题的最新算法竞争力相当。

    May, 2020

  • 一种高效的动态采样策略用于蒙特卡洛树搜索

    本文探讨在有限时间马尔可夫决策过程的框架下，基于树形搜索策略的蒙特卡罗树搜索 (MCTS)。提出了一种动态抽样树策略，有效地分配有限的计算预算，以最大化选择最佳根节点动作的正确性概率。实验结果表明，所提出的树策略比其他竞争方法更有效。

    Apr, 2022

  • 分层分阶蒙特卡洛树搜索用于 SMT 策略合成

    通过采用基于蒙特卡罗树搜索（MCTS）的新方法，我们解决了自动 SMT 策略合成的问题，使得 Z3alpha 相比于状态 - of-the-art 的 SMT 解析工具 FastSMT，Z3 解析器和 CVC5 解析器，在大多数基准测试中都展示了卓越的性能，尤其是在具有挑战性的 QF_BV 基准集上，Z3alpha 解决的实例比 Z3 解析器默认策略多 42.7%。

    Jan, 2024