- KDD基于树混合 MLP 的 GBDT 和 DNN 的联合:进一步提升高效和有效的表格预测
该研究提出了一种新的框架,将 Gradient Boosted Decision Trees (GBDTs) 和 Deep Neural Networks (DNNs) 的优势结合起来,形成一种效率与 GBDTs 相当且具有竞争力的 DNN - 应用表格转换器挑战 Booking.com 诈骗检测中的梯度提升决策树
使用 SSL 技术的基于 Transformer 的神经网络在欺诈检测任务中超越 GBDT 算法,在大规模实验中,预训练的 Transformer 模型在有限的微调数据上表现更加一致且需要较少的标记数据。
- ICML梯度增强滤波器在信号处理中的应用
基于梯度提升决策树的滤波器应用于动态数据,通过使用 Hammerstein 系统代替决策树。我们讨论了我们方法与 Volterra 级数的关系,并提供了其应用的理论基础。我们通过示例演示了我们方法的有效泛化能力。
- 超树预测
本文介绍了超树的概念,并提供了将基于树的模型应用于时间序列数据的新方向。与直接预测时间序列的传统决策树应用不同,超树旨在学习目标时间序列模型的参数。我们的框架利用了增强树的基于梯度的性质,使我们能够将超网络的概念扩展到超树,并对树模型引入时 - 机器学习和统计方法在数字高程模型(DEM)校正中的比较:中期结果
研究探讨了使用机器学习方法纠正数字高程模型中的高程偏差。通过对三种机器学习方法和多元线性回归方法在提高 Cape Town 地区 Copernicus 和 AW3D 全球 DEM 的垂直精度方面的比较,结果显示梯度提升决策树方法在 DEM - 使用对抗验证的轻量级增强模型进行用户响应预测
本文描述了 ACM RecSys Challenge 2023 的轻量级解决方案,将任务形式化为用户响应预测任务,并通过敌对验证、特征工程技术和梯度提升决策树等方法有效地解决了问题。实验证明单个 LightGBM 模型表现出色,无需额外集成 - ICML预训练深度模型在标签稀缺的学习排序中胜过 GBDT
该论文研究了无监督预训练是否能提高在标注数据远远少于非标注数据情况下的 LTR 问题中的性能,并通过使用特定于排序的改进方法,在无监督预训练的深度学习模型中表现出比 GBDT 和其他非预训练模型更好的性能,并且在排名异常数据方面也通常具有显 - ICLR公平约束下的梯度提升树
我们提出了 FairGBM,这是一种用于在公平约束下训练 GBDT 的双升学习框架,其对预测性能的影响很小,同时提出了平滑的凸误差率代理。
- MM(多任务)梯度提升树的可扩展特征选择
本文提出了一种可伸缩的基于前向特征选择的梯度提升决策树方法,通过一种新颖的群体测试过程,在高维度下工作良好,并具有较好的理论性能和计算保证,可用于搜索和推荐中的排名和相关模型的构建。同时,该方法扩展到多任务设置,允许从多个任务中选择通用特征 - ACL利用梯度提升决策树增强 Transformers 在 NLI 微调中的效能
本文探讨了采用 Gradient Boosted Decision Trees 作为分类器的自然语言推断(NLI)任务方法,介绍了 FreeGBDT 方法,该方法可以在不增加神经网络的计算量的情况下,提高对特征的分类精度,实验证明 Free - ICLRBoost then Convolve: 梯度提升相遇图神经网络
该论文提出了一种新的网络结构,将 GNN 和 GBDT 训练在一起,以达到异质图表节点特征下最优化的效果,该模型经过广泛实验,证明在各种具有表格特征的图上性能显著提高。
- 一种简单有效的基于模型的变量重要性度量方法
本文提出了一种标准化的、基于模型的方法来测量监督学习算法中预测器的重要性,该方法适用于各种现代算法,如随机森林、梯度提升决策树等。
- KDD利用机器学习评估和预防水管爆裂风险
使用机器学习系统评估水管道破裂风险,通过历史数据和相关信息,使用梯度提升决策树模型最好的预测并取得了成功,此方法也可应用于其他城市。
- 寻找优秀的训练样本以提升梯度提升决策树的效果
解决了如何在树集合模型中找出影响力训练样本的问题,并对扩展该方法以适用于非参数模型提出了几种方法。实验证明,本方法不仅性能良好,而且计算效率高。
- 紧凑的多类别提升树
描述了两种扩展标准树提升算法以提高小型模型精度的方法:一是将提升形式从标量树扩展到矢量树以支持多类分类器,二是采用逐层提升方法在函数空间中进行更小的步长,从而达到更快的收敛和更紧凑的集合,并在各种多类数据集上证明了其功效。
- KDD利用地理位置信息预测银行卡使用情况
该研究探讨了基于梯度提升决策树、超参数配置和地理位置信息的银行卡使用的检测方法,在任务一上取得了最好的表现,在任务二上取得了第四的好成绩。