NBDT:神经支持决策树
提出了一种神经决策树 (NDT) 的建议架构,其将神经网络和决策树相融合,同时使用哈希神经网络 (HNN) 作为最后一层的非线性分类器,具有比标准 softmax MLP 更高的建模能力和更易于全局优化的特点,在有监督、半监督和无监督学习任务上的实验结果证明其优越性。
Feb, 2017
通过提出的神经图结构来解决在分支条件中只出现变量无法特别更新的问题,并利用 Dirac 符号和连续函数来近似计算条件特定变量的梯度,最终提出了一种使用简化神经网络作为分支条件函数,复杂神经网络作为叶子输出的神经决策树模型,并经过大量实验证实该模型的有效性。
Dec, 2017
本文探讨了采用 Gradient Boosted Decision Trees 作为分类器的自然语言推断(NLI)任务方法,介绍了 FreeGBDT 方法,该方法可以在不增加神经网络的计算量的情况下,提高对特征的分类精度,实验证明 FreeGBDT 对于多个 NLI 数据集的 RoBERTa-large 基线模型都有稳定的提升。
May, 2021
提出了一种名为 mGBDTs 的多层 GBDT 森林算法,通过堆叠多层回归 GBDTs 作为其构建块,探索学习分层表示能力。该模型可以通过变体的跨层目标传播进行联合训练,无需反向传播或可微分性,并在性能和表示学习能力方面得到了证实。
May, 2018
本文提出了 DecisioNet(DN),一种二叉树结构的神经网络,用于将现有 DNN 模型转换为轻量级模型以实现计算效率优化。评估表明,DN 变体在减少计算成本的同时达到了与原始网络类似的准确性。
Jul, 2022
融合去噪扩散概率模型和梯度提升方法,引入扩散增强范式以解决监督学习问题。我们开发了扩散增强树(DBT),它可以被视为一种新的去噪扩散生成模型,其参数由决策树(每个扩散时间步长一个单一树)进行参数化,同时也是一种新的提升算法,可以把弱学习器结合成条件分布的强学习器,而不对其密度形式进行显式的参数化假设。通过实验证明了 DBT 相较于基于深度神经网络的扩散模型的优势,以及 DBT 在真实回归任务上的能力,并展示了将 DBT 应用于表格数据(欺诈检测)进行分类学习且具备学习推迟的能力。
Jun, 2024
通过将决策树集成到神经网络的架构中,我们提出了一种新颖的可解释性神经网络,名为 NCART,以克服深度学习方法在大规模、高维数据集和小规模数据集方面的计算效率和解释性不足的问题。与传统的深度学习模型相比,NCART 架构简单,适用于各种规模的数据集,并降低了计算成本。大量的实验结果表明,NCART 与现有的深度学习模型相比,具有优越的性能,是决策树模型的强有力竞争对手。
Jul, 2023
本文提出了一种自适应神经决策树算法,该算法将表示学习技术嵌入决策树的边缘、路由函数和叶节点中,并采用基于反向传播的训练算法自适应扩展架构,实现了基于条件计算的轻量级推理、层次化特征分离以及适应训练数据集规模和复杂度的机制。
Jul, 2018