组合优化中基于模拟树搜索的辅助代理算法

Mar, 2024

组合优化中基于模拟树搜索的辅助代理算法

Surrogate Assisted Monte Carlo Tree Search in Combinatorial Optimization

Saeid Amiri, Parisa Zehtabi, Danial Dervovic, Michael Cashmore

TL;DR通过使用辅助模型快速计算评估的蒙特卡洛树搜索（MCTS），可以更快地生成解决方案，同时与不使用辅助模型的 MCTS 相比保持一致的解决方案。

Abstract

Industries frequently adjust their facilities network by opening new branches in promising areas and closing branches in areas where they expect low profits. In this paper, we examine a particular class of facility location problems. Our objective is to minimize the loss of sales resul

facility location problems sales estimation monte carlo tree search surrogate model solution generation

发现论文，激发创造

蒙特卡洛树搜索：近期修改和应用综述

本文调查了 Monte Carlo Tree Search (MCTS) 在领域特定修改和混合方法方面的应用，这种方法依赖于智能树搜索并平衡探索和利用。

Mar, 2021

蒙特卡罗树下降用于黑盒优化

本文研究了在黑盒优化中通过引入 Monte Carlo Tree Search 方法和结合具备随机搜索功能和高斯过程的新下降方法等技术，以实现更快速的优化。实验结果表明，所提出的方法在各种有挑战性的基准问题上表现优越。

Nov, 2022

蒙特卡罗树搜索用于策略优化

本文提出了一种基于蒙特卡罗树搜索和无梯度优化的策略优化方法，称为 MCTSPO，通过使用上界置信度启发式获得更好的探索 - 利用平衡，相对于基于梯度和深度遗传算法的基准，在具有欺骗性或稀疏奖励函数的强化学习任务中表现更佳。

Dec, 2019

使用 MCTSnets 学习搜索

该论文提出了一种名为 MCTSnet 的体系架构，其将基于模拟的搜索嵌入神经网络中，并通过向量嵌入扩展，评估和备份。该网络的参数进行端到端的训练优化，应用于小范围的搜索中，显著优于 MCTS 基线的性能。

Feb, 2018

蒙特卡罗树搜索中价值备份和探索的统一视角

研究提出两种方法来提高蒙特卡罗树搜索 (Monte-Carlo Tree Search，MCTS) 算法中的收敛速率和探索程度，基于引入的备份操作与熵正则化，提供强有力的理论保证，实验证明方法有效。

Feb, 2022

多代理路径规划的蒙特卡洛树搜索：初步结果

研究了多智能体路径规划中如何利用蒙特卡洛树搜索（Monte-Carlo Tree Search）解决问题，提出了一种适用于多智能体路径规划的改进 MCTS 变种，通过计算个体路径和奖励来指导搜索过程，实验证明该方法优于基线规划算法。

Jul, 2023

风险感知和多目标强化学习的蒙特卡罗树搜索算法

本文提出了两种基于蒙特卡罗树搜索的算法，能够针对非线性效用函数计算风险意识和多目标环境下的回报策略，并考虑累计回报，同时，这两个算法在多目标强化学习中，预期回报的表现超越了现有的最优算法。

Nov, 2022

通过最优输运传播的蒙特卡洛树搜索

本论文介绍了一种新的备份策略用于 Monte-Carlo 树搜索 (MCTS)，适用于高度随机和部分可观察的马尔可夫决策过程。我们采用概率方法，将值节点和动作值节点建模为高斯分布。我们引入了一种新的备份运算符，将值节点计算为其动作值子节点的 Wasserstein 重心，从而将估计的不确定性传播到根节点。我们研究了当使用 L^1-Wasserstein 重心与 α- 分歧的新的组合时，我们的新备份运算符，通过与广义平均备份运算符的显著联系。我们将概率备份运算符与基于乐观选择和汤普森抽样的两种采样策略相结合，得到了我们的 Wasserstein MCTS 算法。我们在几个随机和部分可观察环境上提供了渐近收敛到最优策略的理论保证，并进行了实证评估，结果表明我们的方法优于相关基准。

Sep, 2023

蒙特卡洛树搜索和监督学习相结合的综合框架用于列车时刻表问题

这篇文章提出了一种综合的蒙特卡洛树搜索（MCTS）计算框架，通过结合启发式方法、无监督学习方法和监督学习方法来解决离散动作空间中的单轨铁路列车时刻表问题（TTP）。

Nov, 2023

单智能体优化：通过蒙特卡罗树搜索进行策略迭代

本文提出了一种使用基于 Monte-Carlo Tree Search 和深度强化学习相结合的方法的搜索算法，通过 1）用于潜在无限奖励问题的新颖行动价值规范机制，2）定义虚拟损失函数实现有效搜索并行化，以及 3）由自我对弈逐代训练的策略网络引导搜索，来提高搜索算法的效果。我们在同类游戏 SameGame 上进行实验，结果表明我们的算法在多个游戏宽度上优于基准算法，并与公共状态搜索问题的最新算法竞争力相当。

May, 2020