生成对抗树搜索的惊人负面结果

Jun, 2018

Surprising Negative Results for Generative Adversarial Tree Search

Kamyar Azizzadenesheli, Brandon Yang, Weitang Liu, Zachary C Lipton, Animashree Anandkumar

TL;DR本文研究了深度生成模型在强化学习环境中的设计，并提出了一种基于生成对抗树搜索和蒙特卡罗树搜索的算法 GATS。GATS 在学习环境模型后，在树搜索中实现了 MCTS，并使用深度 Q 网络学习 Q 函数。然而，实验结果表明，GATS 并未能超越 DQN，作者分析了深度限制 MCTS 失败的原因。

Abstract

While many recent advances in deep reinforcement learning (RL) rely on model-free methods, model-based approaches remain an alluring prospect for their potential to exploit unsupervised data to learn environment

deep reinforcement learning model-based approaches generative adversarial tree search monte carlo tree search atari environments

发现论文，激发创造

深度学习用于奖励设计，提高 ATARI 游戏中的蒙特卡罗树搜索

本文提出了一种结合 PGRD 和深度学习的方法，利用卷积神经网络自动学习特征来改进 UCT 算法在 ATARI 游戏中的表现。

Apr, 2016

强化学习中基于反馈的树搜索

本文提出一种基于模型的强化学习技术，该技术将 Monte-Carlo 树搜索应用于无限期 Marov 决策过程的有限期版本，并使用值函数和策略函数的组合来规定有限期问题的终端条件或决策树的叶节点评估器。作者还提供了第一个基于树搜索的强化学习算法的样本复杂度边界，并证明由深度神经网络实现的技术能够创建一种竞争性人工智能代理。

May, 2018

超越蒙特卡罗树搜索：使用深度备选神经网络和长期评估玩围棋

本文提出了一种使用深度替代神经网络（DANN）和长期评估模块的计算机围棋系统，其中 DANN 的效果优于传统的深度卷积神经网络（DCNN），并结合长期评估模块的选择比大多数现有的基于蒙特卡罗树搜索的开源引擎更好。

Jun, 2017

TreeQN 和 ATreeC：用于深度强化学习的可微分树形结构模型

本研究介绍了一种新的基于在线计划的树形结构模型 TreeQN，并且通过在多种游戏环境中的实验表明 TreeQN 和 ATreeC 模型具备优秀的性能。

Oct, 2017

在异步深度强化学习中使用蒙特卡罗树搜索作为演示器

本文介绍了一种新的深度强化学习方法 Asynchronous Advantage Actor-Critic (A3C-TP)，并提出一种新的框架，将规划算法和异步分布式深度强化学习方法相结合，相对于传统方法，提高了学习速度和收敛策略的能力。

Nov, 2018

潜在状态空间中的可微树搜索

在决策问题中，由于训练数据有限，使用深度神经网络逼近的策略函数常常表现出亚优性。作者引入了一种名为 Differentiable Tree Search (DTS) 的新颖神经网络架构，通过嵌入最佳优先在线搜索算法的算法结构，显著增强了归纳偏置，从而解决了模型精度不准确导致的性能问题。DTS 采用一个学习得到的世界模型在潜在状态空间中进行完全可微的在线搜索，并通过优化搜索算法和世界模型来学习到鲁棒的世界模型，减轻模型不准确性的影响。通过在有限训练数据情境下的 Procgen 游戏和网格导航任务中离线强化学习实验，证明 DTS 优于常见的无模型和有模型的基准算法。

Jan, 2024

通过 GPT 引导的蒙特卡罗树搜索从数据中发现数学公式

SR-GPT 是一种新的符号回归算法，通过将 MCTS 与 GPT 相结合，显著提高了 MCTS 的搜索效率，并利用 MCTS 结果进一步完善 GPT，从而在正确恢复符号表达式方面优于现有的最先进算法。

Jan, 2024

以 MCTS 引导遗传算法优化神经网络权重

本研究探讨了在遗传算法中应用搜索策略以探索整个基因树结构的可能性。我们尝试优化神经网络使用遗传算法，以生成最佳结果，结合了蒙特卡洛树搜索等方法。

Aug, 2023

语言代理树搜索在语言模型中统一了推理、行为和规划

LATS 是一种将大型语言模型（LLMs）能力融合于规划、行动和推理的通用框架，具备外部反馈的环境、超越现有技术限制的思考和适应性的问题解决机制，实现了在各种领域中的推理和行动的应用性。

Oct, 2023

用于规划的矢量量化模型

使用离散自编码器来处理动作在随机环境中引起的多种可能性，再结合随机版 Monte Carlo 树搜索算法规划代理的动作和代表环境反应的离散潜变量，明显优于 MuZero 在处理随机国际象棋和 DeepMind Lab 等部分观测模型的 RL 问题中的表现。

Jun, 2021