潜在状态空间中的可微树搜索

Jan, 2024

Differentiable Tree Search in Latent State Space

Dixant Mittal, Wee Sun Lee

TL;DR在决策问题中，由于训练数据有限，使用深度神经网络逼近的策略函数常常表现出亚优性。作者引入了一种名为 Differentiable Tree Search (DTS) 的新颖神经网络架构，通过嵌入最佳优先在线搜索算法的算法结构，显著增强了归纳偏置，从而解决了模型精度不准确导致的性能问题。DTS 采用一个学习得到的世界模型在潜在状态空间中进行完全可微的在线搜索，并通过优化搜索算法和世界模型来学习到鲁棒的世界模型，减轻模型不准确性的影响。通过在有限训练数据情境下的 Procgen 游戏和网格导航任务中离线强化学习实验，证明 DTS 优于常见的无模型和有模型的基准算法。

Abstract

In decision-making problems with limited training data, policy functions approximated using deep neural networks often exhibit suboptimal performance. An alternative approach involves learning a →

limited training data deep neural networks world model algorithmic structural biases differentiable tree search

发现论文，激发创造

TreeQN 和 ATreeC：用于深度强化学习的可微分树形结构模型

本研究介绍了一种新的基于在线计划的树形结构模型 TreeQN，并且通过在多种游戏环境中的实验表明 TreeQN 和 ATreeC 模型具备优秀的性能。

Oct, 2017

具有上下文模型的 Levin 树搜索

本文介绍了一种基于 Levin Tree Search (LTS) 算法的 LTS+CM 算法，使用参数化的上下文模型并在具有凸保证的基础上优化策略。此算法在 Sokoban，The Witness 和 24 滑动方块 (STP) 等多个问题上表现优异，能够解决魔方等问题，且相对于之前的机器学习技术有很大的进步。

May, 2023

生成对抗树搜索的惊人负面结果

本文研究了深度生成模型在强化学习环境中的设计，并提出了一种基于生成对抗树搜索和蒙特卡罗树搜索的算法 GATS。GATS 在学习环境模型后，在树搜索中实现了 MCTS，并使用深度 Q 网络学习 Q 函数。然而，实验结果表明，GATS 并未能超越 DQN，作者分析了深度限制 MCTS 失败的原因。

Jun, 2018

神经网络控制器到决策树控制器的精确且具有成本效益的自动转换

将基于神经网络的控制器转换为等效的软决策树控制器，以提高可验证性且减小意外行为的风险。在包含 ReLU 激活函数和 argmax 操作的离散输出 NN 控制器上，提出了一种自动剪枝的精确且高效的转换算法。以 OpenAI Gym 环境中的两个基准测试为例，结果表明 SDT 转换可以有助于形式验证，并显示其运行时在使用 MountainCar-v0 和 CartPole-v0 时分别提高了 21 倍和 2 倍。

Apr, 2023

使用梯度下降学习决策树

本研究提出了一种使用梯度下降学习固定坐标轴的坚硬 Decision Trees 的新方法，该方法使用反向传播来联合优化所有树参数，相比于现有方法，我们的方法在二元分类基准上表现更好，并在多类任务中取得了竞争性的结果。

May, 2023

学习停止：动态模拟蒙特卡罗树搜索

本文提出一种名为 Dynamic Simulation MCTS 的算法，它通过预测当前状态的不确定性来决定是否停止搜索，实现了在不降低胜率的情况下，将 NoGo 智能体训练速度提高了 2.5 倍，并在同样的平均模拟次数下，取得了 61% 的胜率。

Dec, 2020

IBMDP 中决策树策略学习的演员 - 评论算法的局限性

AI 模型的可解释性使用户能够建立对这些 AI 的信任。我们展示了通过深度强化学习学习决策树的一个方法，从而通过透明地显示输入的关键特征来实现模型的解释性。

Sep, 2023

强化学习中基于反馈的树搜索

本文提出一种基于模型的强化学习技术，该技术将 Monte-Carlo 树搜索应用于无限期 Marov 决策过程的有限期版本，并使用值函数和策略函数的组合来规定有限期问题的终端条件或决策树的叶节点评估器。作者还提供了第一个基于树搜索的强化学习算法的样本复杂度边界，并证明由深度神经网络实现的技术能够创建一种竞争性人工智能代理。

May, 2018

NDT：面向全功能神经图的神经决策树

通过提出的神经图结构来解决在分支条件中只出现变量无法特别更新的问题，并利用 Dirac 符号和连续函数来近似计算条件特定变量的梯度，最终提出了一种使用简化神经网络作为分支条件函数，复杂神经网络作为叶子输出的神经决策树模型，并经过大量实验证实该模型的有效性。

Dec, 2017

DeepTree：利用情境潜变量建模树木

本文引入了 DeepTree 方法，该方法利用深度神经网络对树木的生长规则进行建模，从而生成各种形态的树木，同时展示了这种方法的有效性。

May, 2023