蒙特卡罗树搜索用于策略优化

IJCAIDec, 2019

Monte-Carlo Tree Search for Policy Optimization

Xiaobai Ma, Katherine Driggs-Campbell, Zongzhang Zhang, Mykel J. Kochenderfer

TL;DR本文提出了一种基于蒙特卡罗树搜索和无梯度优化的策略优化方法，称为 MCTSPO，通过使用上界置信度启发式获得更好的探索 - 利用平衡，相对于基于梯度和深度遗传算法的基准，在具有欺骗性或稀疏奖励函数的强化学习任务中表现更佳。

Abstract

Gradient-based methods are often used for policy optimization in deep reinforcement learning, despite being vulnerable to local optima and saddle points. Although gradient-free methods (e.g., genetic algorithms o

reinforcement learning policy optimization monte-carlo tree search gradient-free optimization exploration-exploitation trade-off

发现论文，激发创造

单智能体优化：通过蒙特卡罗树搜索进行策略迭代

本文提出了一种使用基于 Monte-Carlo Tree Search 和深度强化学习相结合的方法的搜索算法，通过 1）用于潜在无限奖励问题的新颖行动价值规范机制，2）定义虚拟损失函数实现有效搜索并行化，以及 3）由自我对弈逐代训练的策略网络引导搜索，来提高搜索算法的效果。我们在同类游戏 SameGame 上进行实验，结果表明我们的算法在多个游戏宽度上优于基准算法，并与公共状态搜索问题的最新算法竞争力相当。

May, 2020

使用蒙特卡罗树搜索的策略梯度算法用于非马尔可夫决策过程

本文介绍一种结合 Policy Gradient 和 Monte-Carlo Tree Search 的混合策略，旨在克服两种方法在应对非马尔可夫决策过程上的困难，有效提升算法的效率。

Jun, 2022

Monte-Carlo 树搜索作为正则化策略优化

展示 AlphaZero 的 heuristics 可以近似于规则化策略优化问题的解，并通过提出一种利用此解的变量来实现，实验表明该算法在多个领域中可靠地优于原始算法。

Jul, 2020

蒙特卡罗树下降用于黑盒优化

本文研究了在黑盒优化中通过引入 Monte Carlo Tree Search 方法和结合具备随机搜索功能和高斯过程的新下降方法等技术，以实现更快速的优化。实验结果表明，所提出的方法在各种有挑战性的基准问题上表现优越。

Nov, 2022

二元优化的蒙特卡罗策略梯度方法

通过使用概率模型和 Markov Chain Monte Carlo 技术，基于参数化的策略分布，对二进制优化问题进行近似优化，本文同时提出了一种滤波方案来扩展函数的景观，并证明了策略梯度法的期望收敛性。

Jul, 2023

策略梯度搜索：无需搜索树的在线规划和专家迭代

本研究提出一种用于模拟搜索的政策梯度搜索方法，通过在线更新神经网络模拟策略，实现避免使用搜索树的效果。在 Hex 上，与 MCTS 相比，PGS 取得了相当的性能，并且使用 PGS 进行专家迭代训练的代理能够在 9x9 Hex 中击败最强的开源 Hex 代理 MoHex 2.0。

Apr, 2019

进一步改进 PPO 算法：基于值导向的蒙特卡罗树搜索解码

通过将 MCTS 与 PPO 集成，在推断时生成自然语言文本，相较于仅使用 PPO 策略，PPO-MCTS 极大地提高了生成文本的优越性，减少了训练和测试之间的部分输出评分机制不匹配的问题，证明了搜索算法在与 PPO 进行对齐的语言模型上的潜力和价值网络的未充分探索的好处。

Sep, 2023

蒙特卡罗树搜索中价值备份和探索的统一视角

研究提出两种方法来提高蒙特卡罗树搜索 (Monte-Carlo Tree Search，MCTS) 算法中的收敛速率和探索程度，基于引入的备份操作与熵正则化，提供强有力的理论保证，实验证明方法有效。

Feb, 2022

以 MCTS 引导遗传算法优化神经网络权重

本研究探讨了在遗传算法中应用搜索策略以探索整个基因树结构的可能性。我们尝试优化神经网络使用遗传算法，以生成最佳结果，结合了蒙特卡洛树搜索等方法。

Aug, 2023

基于轨迹的离线深度强化学习

本文提出一种改进的基于 policy gradient 的强化学习算法，通过在参数空间中探索、重用过去的 off-policy 数据和确定性的行为策略等技术，提高了数据效率、降低了梯度估计的方差并避免了局部最优解。在一系列连续控制基准任务上的实验表明，相较于标准的 policy gradient 方法，该算法能够成功可靠地使用更少的系统交互来学习解决方案。

May, 2019