本文介绍了一种新的深度强化学习方法 Asynchronous Advantage Actor-Critic (A3C-TP)，并提出一种新的框架，将规划算法和异步分布式深度强化学习方法相结合，相对于传统方法，提高了学习速度和收敛策略的能力。

Nov, 2018

在决策问题中，由于训练数据有限，使用深度神经网络逼近的策略函数常常表现出亚优性。作者引入了一种名为 Differentiable Tree Search (DTS) 的新颖神经网络架构，通过嵌入最佳优先在线搜索算法的算法结构，显著增强了归纳偏置，从而解决了模型精度不准确导致的性能问题。DTS 采用一个学习得到的世界模型在潜在状态空间中进行完全可微的在线搜索，并通过优化搜索算法和世界模型来学习到鲁棒的世界模型，减轻模型不准确性的影响。通过在有限训练数据情境下的 Procgen 游戏和网格导航任务中离线强化学习实验，证明 DTS 优于常见的无模型和有模型的基准算法。

Jan, 2024

本研究提出了一种基于模型、使用 UCT 搜索和更具鲁棒性的动作选择策略的强化学习算法 Dyna-T，在 Open AI 的三个测试环境中的初步测试表明 Dyna-T 优于最先进的 RL 代理。

Jan, 2022

本文提出一种基于模型的强化学习技术，该技术将 Monte-Carlo 树搜索应用于无限期 Marov 决策过程的有限期版本，并使用值函数和策略函数的组合来规定有限期问题的终端条件或决策树的叶节点评估器。作者还提供了第一个基于树搜索的强化学习算法的样本复杂度边界，并证明由深度神经网络实现的技术能够创建一种竞争性人工智能代理。

May, 2018

介绍了一种用于 Deep Reinforcement Learning 中 Q functions 的 mimic learning framework，使用 Linear Model U-trees 替代神经网络的 Q function 预测，通过分析特征影响、提取规则和突出图像输入中的超级像素来帮助理解神经网络的学习知识。

Jul, 2018

本文研究了深度生成模型在强化学习环境中的设计，并提出了一种基于生成对抗树搜索和蒙特卡罗树搜索的算法 GATS。GATS 在学习环境模型后，在树搜索中实现了 MCTS，并使用深度 Q 网络学习 Q 函数。然而，实验结果表明，GATS 并未能超越 DQN，作者分析了深度限制 MCTS 失败的原因。

Jun, 2018

使用离散自编码器来处理动作在随机环境中引起的多种可能性，再结合随机版 Monte Carlo 树搜索算法规划代理的动作和代表环境反应的离散潜变量，明显优于 MuZero 在处理随机国际象棋和 DeepMind Lab 等部分观测模型的 RL 问题中的表现。

Jun, 2021

通过树搜索的模型驱动增量式有向无环图建立，提出了一种基于因果关系的强化学习方法，并通过一个有效算法证明了排除引入循环边缘的正确性，实现了在有向无环图空间中更深层的离散搜索和抽样，为组合方法提供了有希望的进展。

Oct, 2023

本文提出了一种使用基于 Monte-Carlo Tree Search 和深度强化学习相结合的方法的搜索算法，通过 1）用于潜在无限奖励问题的新颖行动价值规范机制，2）定义虚拟损失函数实现有效搜索并行化，以及 3）由自我对弈逐代训练的策略网络引导搜索，来提高搜索算法的效果。我们在同类游戏 SameGame 上进行实验，结果表明我们的算法在多个游戏宽度上优于基准算法，并与公共状态搜索问题的最新算法竞争力相当。

May, 2020

本文提出了一种基于深度神经网络过渡模型和蒙特卡罗树搜索相结合的模型方法，该方法用于解决在 Minecraft 中进行方块放置任务。实验结果表明，该方法可以快速学习且更具训练样本的效率，性能与深度 Q 网络的性能相当。

Mar, 2018