May, 2023

基于无偏特征重要性的无偏梯度提升决策树

PDF
TL;DR本文研究了 Gradient Boosting Decision Tree 模型中的 split finding algorithm 偏差问题，提出了新的无偏 gain 量度方法并在 UnbiasedGBM 模型中应用，实验结果表明 UnbiasedGBM 在 60 个数据集上表现更好，无偏 gain 在特征选择上也较其他方法表现更好。
gradient boosting decision treesplit finding algorithmoverfittingunbiased gainunbiasedgbm
发现论文，激发创造
  • （多任务）梯度提升树的可扩展特征选择

    本文提出了一种可伸缩的基于前向特征选择的梯度提升决策树方法，通过一种新颖的群体测试过程，在高维度下工作良好，并具有较好的理论性能和计算保证，可用于搜索和推荐中的排名和相关模型的构建。同时，该方法扩展到多任务设置，允许从多个任务中选择通用特征和选择任务特定特征，与现有的梯度提升决策树方法相比，在模型性能度量方面表现相当，但训练时间有显著提升。

    Sep, 2021

  • 在梯度提升树中实现本地可解释性：特征贡献

    GBDT 模型是一种基于树集合的强大的加性模型，本文开发了一种特征贡献方法，通过利用 GBDT 架构来计算每个特征的贡献，从而提供了一种对 GBDT 算法进行局部可解释性的模型。该方法在理论证明和多个实验中得到了验证，并且既能反映 GBDT 的内部行为也符合欧洲 GDPR 等相关法律的要求。

    Feb, 2024

  • 树形方法中特征重要性的无偏测量

    通过纠正 Random Forests 和其他基于树的方法中的变量重要性衡量中的偏差，将 split-improvement 在外部样本数据上计算后巧妙地整合，可以得到更好的特征总结和筛选工具。

    Mar, 2019

  • 公平约束下的梯度提升树

    我们提出了 FairGBM，这是一种用于在公平约束下训练 GBDT 的双升学习框架，其对预测性能的影响很小，同时提出了平滑的凸误差率代理。

    Sep, 2022

  • 隐私保护的梯度提升决策树

    本篇论文旨在研究如何提高 Gradient Boosting Decision Tree 模型的准确性，同时保持差分隐私强有力的保护措施。通过改进灵敏度限制和与树之间隐私预算的分配算法，该论文提出一种更有效的差分隐私 GBDT 训练算法，以实现更高的模型准确性。

    Nov, 2019

  • 基于任务的分裂梯度提升树用于多中心糖尿病预测

    本研究旨在解决糖尿病预测中的两个主要挑战：数据异质性和数据不足问题。通过采用梯度提升决策树（GBDT）处理数据异质性，引入多任务学习（MTL）解决数据不足问题，提出了一种名为 Task-wise Split Gradient Boosting Trees (TSGB) 的新算法用于多中心糖尿病预测任务，通过评估每个任务的 Task gain 以及采用基于任务增益统计量的 Task-wise Split 等算法优化了预测效果。

    Aug, 2021

  • 寻找优秀的训练样本以提升梯度提升决策树的效果

    解决了如何在树集合模型中找出影响力训练样本的问题，并对扩展该方法以适用于非参数模型提出了几种方法。实验证明，本方法不仅性能良好，而且计算效率高。

    Feb, 2018

  • 梯度提升决策树算法的基准测试和优化

    本文研究了三个软件 Gradient Boosting Decision Trees (GBDTs) packages: XGBoost, LightGBM 和 Catboost 的 GPU 加速性能以及在超参数优化方面的比较，并注意到 GBDTs 的许多超参数需手动调整或自动优化，以达到最佳预测能力。

    Sep, 2018

  • 区块分布式梯度提升树

    提出了基于块的分布式梯度提升树算法（GBT），以解决传统分布式 GBT 算法中针对数据点而非特征的可扩展性问题。该算法针对数据稀疏性和数据特征进行了定制，通过适应 Quickscorer 算法在块分布式设置中的使用，可在稀疏数据中实现通信成本的多个数量级降低，同时不损失准确性。

    Apr, 2019

  • 鲁棒 - GBDT: 一种新的梯度提升模型用于噪声鲁棒分类

    该研究介绍了一种名为 Robust-GBDT 的噪声鲁棒增强模型，该模型在多类分类任务中应用广泛，通过采用凸可靠损失函数和处理类不平衡的新型鲁棒损失函数，有效抵抗标签噪声和类别不平衡，提高了分类准确性和泛化能力。

    Oct, 2023