Feb, 2024

基于神经网络体系结构的通用决策树集成：分布式梯度提升森林 (DGBF)

PDF
TL;DR决策树组合算法（如 RandomForest 和 GradientBoosting）在对于离散或表格数据进行建模方面是主导方法，但是由于它们无法像神经网络那样从原始数据中进行层次化表示学习，因此限制了其在深度学习问题和建模非结构化数据方面的应用。然而，本研究表明通过将 bagging 和 boosting 的数学形式结合起来，可以定义一个具有分布式表示学习过程的图结构树集成算法，并且不需要使用反向传播算法，我们称之为分布式梯度提升森林（DGBF）。最后，我们发现分布式学习在 9 个数据集中的 7 个中表现优于 RandomForest 和 GradientBoosting。
tree ensemble algorithmsrandomforestgradientboostinghierarchical representation learningdistributed gradient boosting forest
发现论文，激发创造
  • FedGBF: 一种基于梯度提升和 Bagging 的有效垂直联邦学习框架

    研究提出了一种名为 Federated Gradient Boosting Forest (FedGBF) 的模型，它能够同时并行地建立决策树作为提升的基础学习器，提高性能并减少时间成本，同时还提出了一种动态更新参数的方法减少复杂度，并在基准数据集上进行了实验，证明了该方法的优越性。

    Apr, 2022

  • 多层梯度提升决策树

    提出了一种名为 mGBDTs 的多层 GBDT 森林算法，通过堆叠多层回归 GBDTs 作为其构建块，探索学习分层表示能力。该模型可以通过变体的跨层目标传播进行联合训练，无需反向传播或可微分性，并在性能和表示学习能力方面得到了证实。

    May, 2018

  • 使用深度生成森林进行鲁棒分类

    本文介绍了一种新的深度概率模型，叫作 “生成森林”，这种模型将随机森林扩展到了生成模型，可以表示整个特征空间上的联合分布，解决了判别模型缺乏处理预测不确定性方法的问题，并且可以测量每个预测的稳健性和检测分布外的样本。

    Jul, 2020

  • 扩散增强树

    融合去噪扩散概率模型和梯度提升方法，引入扩散增强范式以解决监督学习问题。我们开发了扩散增强树（DBT），它可以被视为一种新的去噪扩散生成模型，其参数由决策树（每个扩散时间步长一个单一树）进行参数化，同时也是一种新的提升算法，可以把弱学习器结合成条件分布的强学习器，而不对其密度形式进行显式的参数化假设。通过实验证明了 DBT 相较于基于深度神经网络的扩散模型的优势，以及 DBT 在真实回归任务上的能力，并展示了将 DBT 应用于表格数据（欺诈检测）进行分类学习且具备学习推迟的能力。

    Jun, 2024

  • 加速梯度提升

    本文介绍了一种基于渐进提升方法和 Nesterov 加速下降的新算法 AGB，不但表现突出，在不同预测问题中还表现出更好的稀疏性和少对收缩参数的敏感性。

    Mar, 2018

  • 神经随机森林

    将随机回归树方法改成了一个新的神经网络模型，称为神经随机森林。 基于随机回归树的架构利用了先验知识并具有更少的参数，较少的限制设计决策路径和优秀的表现使得方法可用于多样的预测问题。

    Apr, 2016

  • Boost then Convolve: 梯度提升相遇图神经网络

    该论文提出了一种新的网络结构，将 GNN 和 GBDT 训练在一起，以达到异质图表节点特征下最优化的效果，该模型经过广泛实验，证明在各种具有表格特征的图上性能显著提高。

    Jan, 2021

  • 概率回归树集成

    该研究使用基于树的集成方法，如随机森林、梯度提升树和贝叶斯增加回归树，在许多应用和研究中成功地用于回归问题。本文研究了概率回归树的集成版本，通过将每个观测分配到相对应的概率分布区域，为目标函数提供平滑逼近。我们证明了所考虑的概率回归树的集成版本是一致的，并在实验中研究了它们的偏差 - 方差折衷，并与最先进的性能预测方法进行比较。

    Jun, 2024

  • 区块分布式梯度提升树

    提出了基于块的分布式梯度提升树算法（GBT），以解决传统分布式 GBT 算法中针对数据点而非特征的可扩展性问题。该算法针对数据稀疏性和数据特征进行了定制，通过适应 Quickscorer 算法在块分布式设置中的使用，可在稀疏数据中实现通信成本的多个数量级降低，同时不损失准确性。

    Apr, 2019

  • 面向物联网边缘节点的动态决策树集成能效推理

    本文针对物联网设备上的机器学习模型能源消耗较大的问题，提出了一种基于决策树集成的动态集成算法，在保证准确率不降低的情况下，显著降低了能耗。

    Jun, 2023