Apr, 2023

通过 One-Hot 编码和正则化增强梯度提升决策树的稳健性

PDF
TL;DR本文研究使用 one-hot encoding 和 linear regression 以及 L1 或 L2 正则化对 Gradient-boosted decision trees 进行改进，提高其对协变量扰动的容忍能力。通过数值实验和理论分析证明了该方法可以增强模型的鲁棒性。
gradient-boosted decision treesone-hot encodingrobustnesslinear regressionregularization
发现论文，激发创造
  • 正则化目标编码在具有高基数特征的监督式机器学习中优于传统方法

    本文基于机器学习算法对分类变量进行编码技术探究，通过对比不同编码策略和算法的实验结果，发现对训练数据中的特征进行正则化后的目标编码技术能够提供最好的结果，并且传统编码技术在部分情况下不如目标编码技术。

    Apr, 2021

  • 多层梯度提升决策树

    提出了一种名为 mGBDTs 的多层 GBDT 森林算法，通过堆叠多层回归 GBDTs 作为其构建块，探索学习分层表示能力。该模型可以通过变体的跨层目标传播进行联合训练，无需反向传播或可微分性，并在性能和表示学习能力方面得到了证实。

    May, 2018

  • 寻找优秀的训练样本以提升梯度提升决策树的效果

    解决了如何在树集合模型中找出影响力训练样本的问题，并对扩展该方法以适用于非参数模型提出了几种方法。实验证明，本方法不仅性能良好，而且计算效率高。

    Feb, 2018

  • 隐私保护的梯度提升决策树

    本篇论文旨在研究如何提高 Gradient Boosting Decision Tree 模型的准确性，同时保持差分隐私强有力的保护措施。通过改进灵敏度限制和与树之间隐私预算的分配算法，该论文提出一种更有效的差分隐私 GBDT 训练算法，以实现更高的模型准确性。

    Nov, 2019

  • 鲁棒 - GBDT: 一种新的梯度提升模型用于噪声鲁棒分类

    该研究介绍了一种名为 Robust-GBDT 的噪声鲁棒增强模型，该模型在多类分类任务中应用广泛，通过采用凸可靠损失函数和处理类不平衡的新型鲁棒损失函数，有效抵抗标签噪声和类别不平衡，提高了分类准确性和泛化能力。

    Oct, 2023

  • 公平约束下的梯度提升树

    我们提出了 FairGBM，这是一种用于在公平约束下训练 GBDT 的双升学习框架，其对预测性能的影响很小，同时提出了平滑的凸误差率代理。

    Sep, 2022

  • 利用梯度提升决策树增强 Transformers 在 NLI 微调中的效能

    本文探讨了采用 Gradient Boosted Decision Trees 作为分类器的自然语言推断（NLI）任务方法，介绍了 FreeGBDT 方法，该方法可以在不增加神经网络的计算量的情况下，提高对特征的分类精度，实验证明 FreeGBDT 对于多个 NLI 数据集的 RoBERTa-large 基线模型都有稳定的提升。

    May, 2021

  • S-GBDT：节俭差分隐私梯度提升决策树

    隐私保护学习梯度提升决策树（GBDT）可对标准表格数据具有很强的效用 - 隐私权衡潜力，采用差分隐私作为验证隐私属性的最新方法，并利用四种主要技术改善了效用 - 隐私权衡。

    Sep, 2023

  • 正则化学习网络：表格数据的深度学习

    提出了一种名为 Regularization Learning Networks (RLNs) 的方法，通过引入一个有效的超参数调整方案来优化 DNN 在 tabular 数据集上的性能，获得了与 GBT 相当的性能。同时，RLNs 还产生了极度稀疏的网络，消除了高达 98% 的网络边缘和 82％的输入特征，提供了更可解释的模型，并揭示了网络分配给不同输入的重要性。

    May, 2018

  • 基于 L1 - 正交正则化的深度神经网络决策树解释增强

    本文介绍了一种基于决策树的解释器模型，通过使用 L1 - 正交正则化技术在保持神经网络准确性的同时，生成一个小型决策树模型，从而提供了对神经网络的可解释性，并证明使用这种技术可以获得模型更高的保真度和更低的复杂性。

    Apr, 2019