NDT：面向全功能神经图的神经决策树

Dec, 2017

NDT：面向全功能神经图的神经决策树

NDT: Neual Decision Tree Towards Fully Functioned Neural Graph

Han Xiao

TL;DR通过提出的神经图结构来解决在分支条件中只出现变量无法特别更新的问题，并利用 Dirac 符号和连续函数来近似计算条件特定变量的梯度，最终提出了一种使用简化神经网络作为分支条件函数，复杂神经网络作为叶子输出的神经决策树模型，并经过大量实验证实该模型的有效性。

Abstract

Though traditional algorithms could be embedded into neural architectures with the proposed principle of \cite{xiao2017hungarian}, the variables that only occur in the condition of branch could not be updated as a special case. To tackle this issue, we multiply the conditioned branches

neural architectures condition-specific variables back-propagation neural decision tree complex neural networks

发现论文，激发创造

神经决策树

提出了一种神经决策树 (NDT) 的建议架构，其将神经网络和决策树相融合，同时使用哈希神经网络 (HNN) 作为最后一层的非线性分类器，具有比标准 softmax MLP 更高的建模能力和更易于全局优化的特点，在有监督、半监督和无监督学习任务上的实验结果证明其优越性。

Feb, 2017

深度神经决策树

本研究提出了 Deep Neural Decision Trees（DNDT）—— 由神经网络实现的树模型，可以用于处理表格数据，DNDT 具有自解释性和自剪枝功能。

Jun, 2018

NBDT：神经支持决策树

该论文介绍了一种新的机器学习模型 Neural-Backed Decision Trees，该模型结合了神经网络和决策树的优点，具有高准确性和可解释性，并在 CIFAR、ImageNet 等数据集上表现优异，同时提高了人类信任度和帮助了数据集调试。

Apr, 2020

神经网络控制器到决策树控制器的精确且具有成本效益的自动转换

将基于神经网络的控制器转换为等效的软决策树控制器，以提高可验证性且减小意外行为的风险。在包含 ReLU 激活函数和 argmax 操作的离散输出 NN 控制器上，提出了一种自动剪枝的精确且高效的转换算法。以 OpenAI Gym 环境中的两个基准测试为例，结果表明 SDT 转换可以有助于形式验证，并显示其运行时在使用 MountainCar-v0 和 CartPole-v0 时分别提高了 21 倍和 2 倍。

Apr, 2023

神经树综述

本文综述了神经树 (NTs) 方法，以实现神经网络（NNs）和决策树（DTs）模型的有机融合，探讨了如何提高模型的可解释性，并提出了解决方案。

Sep, 2022

自适应神经树

本文提出了一种自适应神经决策树算法，该算法将表示学习技术嵌入决策树的边缘、路由函数和叶节点中，并采用基于反向传播的训练算法自适应扩展架构，实现了基于条件计算的轻量级推理、层次化特征分离以及适应训练数据集规模和复杂度的机制。

Jul, 2018

DecisioNet：一种二叉树结构的神经网络

本文提出了 DecisioNet（DN），一种二叉树结构的神经网络，用于将现有 DNN 模型转换为轻量级模型以实现计算效率优化。评估表明，DN 变体在减少计算成本的同时达到了与原始网络类似的准确性。

Jul, 2022

深度神经网络和神经切向等级的动态

本文研究了有限宽度的深度全连接神经网络中神经切向核的动态，并推导出一个无穷层次的普通微分方程组，它捕捉了深层神经网络的梯度下降动态。此外，在条件限制下，研究证明了 NTH 的截断层次近似于 NTK 的动态。这些描述使直接研究深度神经网络的 NTK 的变化成为可能，同时也揭示了深度神经网络胜过相应极限 NTK 的内在原因。

Sep, 2019

使用梯度下降学习决策树

本研究提出了一种使用梯度下降学习固定坐标轴的坚硬 Decision Trees 的新方法，该方法使用反向传播来联合优化所有树参数，相比于现有方法，我们的方法在二元分类基准上表现更好，并在多类任务中取得了竞争性的结果。

May, 2023

潜在状态空间中的可微树搜索

在决策问题中，由于训练数据有限，使用深度神经网络逼近的策略函数常常表现出亚优性。作者引入了一种名为 Differentiable Tree Search (DTS) 的新颖神经网络架构，通过嵌入最佳优先在线搜索算法的算法结构，显著增强了归纳偏置，从而解决了模型精度不准确导致的性能问题。DTS 采用一个学习得到的世界模型在潜在状态空间中进行完全可微的在线搜索，并通过优化搜索算法和世界模型来学习到鲁棒的世界模型，减轻模型不准确性的影响。通过在有限训练数据情境下的 Procgen 游戏和网格导航任务中离线强化学习实验，证明 DTS 优于常见的无模型和有模型的基准算法。

Jan, 2024