Apr, 2022

启发式搜索通过测试时间获得更快的训练 ——AlphaZero 启发式游戏学习

PDF
TL;DR本文提出了一种 AlphaZero 启发的 MCTS 包装器，将其与时间差异学习智能体相结合，在不需要 GPU 或 TPU 等高性能计算资源的情况下，在多个复杂的游戏中成功打败强劲对手，取得了显著优势。
game learningdeep reinforcement learningmonte carlo tree searchtemporal difference learningalphazero-inspired mcts wrapper
发现论文，激发创造
  • AlphaZero 五子棋

    AlphaZero 算法通过将深度学习与蒙特卡洛树搜索相结合，在象棋、围棋和五子棋等棋盘游戏中取得了巨大的成功。

    Sep, 2023

  • 在 miniXCOM 中探索使用 TD 学习的自适应 MCTS

    本文介绍了一种名为 MCTS-TD 的自适应 MCTS 算法，该算法使用了深度强化学习技术，从而无需预训练模型即可实现在线调整，通过在 miniXCOM 游戏中进行测试，进一步证明了该算法的有效性。

    Oct, 2022

  • Monte-Carlo 树搜索作为正则化策略优化

    展示 AlphaZero 的 heuristics 可以近似于规则化策略优化问题的解，并通过提出一种利用此解的变量来实现，实验表明该算法在多个领域中可靠地优于原始算法。

    Jul, 2020

  • 学习停止：动态模拟蒙特卡罗树搜索

    本文提出一种名为 Dynamic Simulation MCTS 的算法，它通过预测当前状态的不确定性来决定是否停止搜索，实现了在不降低胜率的情况下，将 NoGo 智能体训练速度提高了 2.5 倍，并在同样的平均模拟次数下，取得了 61% 的胜率。

    Dec, 2020

  • 通过学习模型规划，掌握雅达利、围棋、国际象棋和将棋

    本文提出了 MuZero 算法，它通过结合基于树的搜索和学习模型实现了对一系列具有挑战性且视觉复杂的领域的超人类表现，在 57 款不同的 Atari 游戏上以及对 Go、国际象棋和象棋等游戏的测试中，都表现出了与 AlphaZero 算法相当的性能，而无需知道游戏规则。

    Nov, 2019

  • 加速围棋自我博弈学习

    通过改进 AlphaZero 的过程和架构，我们在 Go 中极大地加速了自我博弈学习，与类似方法相比，计算量减少了 50 倍。

    Feb, 2019

  • AlphaZeroES：直接最大化得分胜过规划损失最小化

    在单智能体环境中，通过直接最大化回合得分而不是最小化规划损失，可以在不改变蒙特卡洛树搜索算法和神经网络结构的情况下，优于 AlphaZero。

    Jun, 2024

  • 单智能体优化：通过蒙特卡罗树搜索进行策略迭代

    本文提出了一种使用基于 Monte-Carlo Tree Search 和深度强化学习相结合的方法的搜索算法，通过 1）用于潜在无限奖励问题的新颖行动价值规范机制，2）定义虚拟损失函数实现有效搜索并行化，以及 3）由自我对弈逐代训练的策略网络引导搜索，来提高搜索算法的效果。我们在同类游戏 SameGame 上进行实验，结果表明我们的算法在多个游戏宽度上优于基准算法，并与公共状态搜索问题的最新算法竞争力相当。

    May, 2020

  • 超越任务执行的评估：分析 AlphaZero 在 Hex 中的概念

    使用自然语言处理中的两种评估技术，探究了 AlphaZero 在 Hex 游戏中的内部表示，研究发现 MCTS 在神经网络学习之前就发现了相关概念，而短期终局规划概念对应最终层，长期计划对应中间层。

    Nov, 2022

  • 砖块井字棋：探索 AlphaZero 在新测试环境中的泛化能力

    本文介绍了一种名为 Brick Tic-Tac-Toe 的测试平台，用于测试强化学习算法在新颖测试环境中的泛化能力，通过在此测试平台上进行轮流比赛，结果表明传统的强化学习算法，如 Monte Carlo Tree Search 和 Minimax，在新颖测试环境中比 AlphaZero 更具有泛化能力。

    Jul, 2022