Sep, 2023

通过最优输运传播的蒙特卡洛树搜索

PDF
TL;DR本论文介绍了一种新的备份策略用于 Monte-Carlo 树搜索 (MCTS)，适用于高度随机和部分可观察的马尔可夫决策过程。我们采用概率方法，将值节点和动作值节点建模为高斯分布。我们引入了一种新的备份运算符，将值节点计算为其动作值子节点的 Wasserstein 重心，从而将估计的不确定性传播到根节点。我们研究了当使用 L^1-Wasserstein 重心与 α- 分歧的新的组合时，我们的新备份运算符，通过与广义平均备份运算符的显著联系。我们将概率备份运算符与基于乐观选择和汤普森抽样的两种采样策略相结合，得到了我们的 Wasserstein MCTS 算法。我们在几个随机和部分可观察环境上提供了渐近收敛到最优策略的理论保证，并进行了实证评估，结果表明我们的方法优于相关基准。
发现论文，激发创造
  • 蒙特卡罗树搜索中价值备份和探索的统一视角

    研究提出两种方法来提高蒙特卡罗树搜索 (Monte-Carlo Tree Search，MCTS) 算法中的收敛速率和探索程度，基于引入的备份操作与熵正则化，提供强有力的理论保证，实验证明方法有效。

    Feb, 2022

  • 在转移不确定性条件下的蒙特卡洛树搜索

    研究纸中提出了一种改进 Monte Carlo Tree Search (MCTS) 框架的算法，它能够在环境模型存在不完全时搜索更加确定的转换，从而提高搜索行为和性能。

    Dec, 2023

  • 蒙特卡罗树搜索中的贝叶斯推断

    本文介绍了一种基于贝叶斯框架与高斯近似算法的 Monte-Carlo Tree Search 方法，旨在更准确地估算节点价值和不确定性，并证明了该方法的在策略和非策略情境下的收敛性和实现的优越性。

    Mar, 2012

  • 风险感知和多目标强化学习的蒙特卡罗树搜索算法

    本文提出了两种基于蒙特卡罗树搜索的算法，能够针对非线性效用函数计算风险意识和多目标环境下的回报策略，并考虑累计回报，同时，这两个算法在多目标强化学习中，预期回报的表现超越了现有的最优算法。

    Nov, 2022

  • 蒙特卡罗树下降用于黑盒优化

    本文研究了在黑盒优化中通过引入 Monte Carlo Tree Search 方法和结合具备随机搜索功能和高斯过程的新下降方法等技术，以实现更快速的优化。实验结果表明，所提出的方法在各种有挑战性的基准问题上表现优越。

    Nov, 2022

  • 基于树状扩散的 Schrödinger bridge 及其在 Wasserstein barycenters 上的应用

    本论文介绍了一种树状结构二次代价的熵版本的多边际最优运输（mOT），并通过开发基于树形结构的扩散薛定谔桥（TreeDSB）算法解决了此问题，该算法可以在高维设置中进行图像插值和贝叶斯融合等应用，能够计算瓦瑟斯坦测地线重心。

    May, 2023

  • 随机蒙特卡洛树搜索中的功率均值估计

    通过引入随机 功值平 均估计器的随机功 - UCT 算法，实现在随 机马尔可夫 决策过程中更准确的价值估计，研究其多项式收 敛性和与 Fixed-Depth-MCTS 相同的收 敛速率。

    Jun, 2024

  • 单智能体优化：通过蒙特卡罗树搜索进行策略迭代

    本文提出了一种使用基于 Monte-Carlo Tree Search 和深度强化学习相结合的方法的搜索算法，通过 1）用于潜在无限奖励问题的新颖行动价值规范机制，2）定义虚拟损失函数实现有效搜索并行化，以及 3）由自我对弈逐代训练的策略网络引导搜索，来提高搜索算法的效果。我们在同类游戏 SameGame 上进行实验，结果表明我们的算法在多个游戏宽度上优于基准算法，并与公共状态搜索问题的最新算法竞争力相当。

    May, 2020

  • 蒙特卡罗规划：理论上的快速收敛遇见实际上的高效率

    该研究通过合理连接基于 MCTS 的两种不同种类算法来实现在短时间内寻求合理 good action，同时保持 BRUE 算法的优秀的收敛性能和指数级性能提高的保障。

    Sep, 2013

  • 随机瓦热斯坦重心

    本文通过随机算法来计算具有 Wasserstein 距离下的一组概率分布的重心，该方法不同于以往的方法，可以适用于连续输入分布，并允许在每个迭代中调整重心的支持，该算法能够恢复出一个锐利的输出，其支持集合包含在真实重心的支持集合内，并能在一些例子中恢复出比以前更有意义的重心。该方法具有广泛的适用性，可扩展到生成给定分布的超级样本和恢复蓝噪声近似等应用。

    Feb, 2018