AAAIJun, 2017

超越蒙特卡罗树搜索：使用深度备选神经网络和长期评估玩围棋

PDF
TL;DR本文提出了一种使用深度替代神经网络（DANN）和长期评估模块的计算机围棋系统，其中 DANN 的效果优于传统的深度卷积神经网络（DCNN），并结合长期评估模块的选择比大多数现有的基于蒙特卡罗树搜索的开源引擎更好。
monte carlo tree searchcomputer go systemdeep alternative neural networklong-term evaluation modulemove prediction
发现论文，激发创造
  • 神经网络与长期预测的更好的计算机围棋选手

    使用基于深度卷积神经网络的纯模式匹配方法取代传统搜索技术，达到与蒙特卡罗树搜索（MCTS）等开源 Go 引擎相同的优异运行效果，且具有更高的赢率和更强的稳定性，同时也在 KGS Go Server 上稳定达到 3d 级别的胜负表现，而 darkfmcts3 则在比赛中获得了第三名的好成绩。

    Nov, 2015

  • 学习停止：动态模拟蒙特卡罗树搜索

    本文提出一种名为 Dynamic Simulation MCTS 的算法，它通过预测当前状态的不确定性来决定是否停止搜索，实现了在不降低胜率的情况下，将 NoGo 智能体训练速度提高了 2.5 倍，并在同样的平均模拟次数下，取得了 61% 的胜率。

    Dec, 2020

  • 使用深度卷积神经网络评估围棋落子

    本文旨在通过深度卷积网络对围棋高手的数据进行监督学习，以期望训练神经网络自行评估围棋中的局面，并在二人对弈时直接利用该神经网络，结果显示其胜率达到了 97%。

    Dec, 2014

  • 使用 MCTSnets 学习搜索

    该论文提出了一种名为 MCTSnet 的体系架构，其将基于模拟的搜索嵌入神经网络中，并通过向量嵌入扩展，评估和备份。该网络的参数进行端到端的训练优化，应用于小范围的搜索中，显著优于 MCTS 基线的性能。

    Feb, 2018

  • 多策略价值蒙特卡罗树搜索

    介绍了一种名为多策略值 MCTS (MPV-MCTS) 的新方法，它结合了多个不同大小的策略值神经网络 (PV-NN)，以平衡精确状态估计和更多的 MCTS 模拟，以提升游戏运行代理的性能。在 NoGo 游戏和 AZ 训练中，与单个 PV-NN 结合策略值 MCTS 相比，MPV-MCTS 表现更好。

    May, 2019

  • 单智能体优化：通过蒙特卡罗树搜索进行策略迭代

    本文提出了一种使用基于 Monte-Carlo Tree Search 和深度强化学习相结合的方法的搜索算法，通过 1）用于潜在无限奖励问题的新颖行动价值规范机制，2）定义虚拟损失函数实现有效搜索并行化，以及 3）由自我对弈逐代训练的策略网络引导搜索，来提高搜索算法的效果。我们在同类游戏 SameGame 上进行实验，结果表明我们的算法在多个游戏宽度上优于基准算法，并与公共状态搜索问题的最新算法竞争力相当。

    May, 2020

  • 蒙特卡洛树搜索：近期修改和应用综述

    本文调查了 Monte Carlo Tree Search (MCTS) 在领域特定修改和混合方法方面的应用，这种方法依赖于智能树搜索并平衡探索和利用。

    Mar, 2021

  • 超越游戏：神经蒙特卡罗树搜索应用的系统综述

    本研究回顾了 129 篇关于神经蒙特卡罗树搜索方法在除游戏外的领域应用的同行评审文章，旨在系统评估此类方法在实践中的构造方式，以及它们在其他领域中是否成功应用。研究发现这类方法在各种领域中都有应用，采用了多种不同的学习策略和价值函数指导搜索树，并且采用了不同的训练方法。本文扫描了神经蒙特卡罗树搜索算法家族在实践问题中的现有景象，这是针对特定问题及要求设计此类算法的更加原则性的步骤的开端。

    Mar, 2023

  • 启发式搜索通过测试时间获得更快的训练 ——AlphaZero 启发式游戏学习

    本文提出了一种 AlphaZero 启发的 MCTS 包装器，将其与时间差异学习智能体相结合，在不需要 GPU 或 TPU 等高性能计算资源的情况下，在多个复杂的游戏中成功打败强劲对手，取得了显著优势。

    Apr, 2022

  • 教深度卷积神经网络下围棋

    本文介绍了使用卷积神经网络进行围棋下棋预测的方法，采用一些新的技术，包括用于捆绑网络中的权重的方法，以硬编码预期存在于目标函数中的对称性，并证明它们在消融研究中可以显著提高性能。最终网络能够在两个不同的围棋数据集上达到 41.1％和 44.4％的移动预测精度，同时还能够击败著名的围棋程序 GNU Go，表明它是不使用蒙特卡罗树搜索的最先进程序之一。

    Dec, 2014