ACLMay, 2021

利用梯度提升决策树增强 Transformers 在 NLI 微调中的效能

PDF
TL;DR本文探讨了采用 Gradient Boosted Decision Trees 作为分类器的自然语言推断（NLI）任务方法，介绍了 FreeGBDT 方法，该方法可以在不增加神经网络的计算量的情况下，提高对特征的分类精度，实验证明 FreeGBDT 对于多个 NLI 数据集的 RoBERTa-large 基线模型都有稳定的提升。
transfer learningnatural language processinggradient boosted decision treesfreegbdtneural network
发现论文，激发创造
  • 多层梯度提升决策树

    提出了一种名为 mGBDTs 的多层 GBDT 森林算法，通过堆叠多层回归 GBDTs 作为其构建块，探索学习分层表示能力。该模型可以通过变体的跨层目标传播进行联合训练，无需反向传播或可微分性，并在性能和表示学习能力方面得到了证实。

    May, 2018

  • 应用表格转换器挑战 Booking.com 诈骗检测中的梯度提升决策树

    使用 SSL 技术的基于 Transformer 的神经网络在欺诈检测任务中超越 GBDT 算法，在大规模实验中，预训练的 Transformer 模型在有限的微调数据上表现更加一致且需要较少的标记数据。

    May, 2024

  • 预训练深度模型在标签稀缺的学习排序中胜过 GBDT

    该论文研究了无监督预训练是否能提高在标注数据远远少于非标注数据情况下的 LTR 问题中的性能，并通过使用特定于排序的改进方法，在无监督预训练的深度学习模型中表现出比 GBDT 和其他非预训练模型更好的性能，并且在排名异常数据方面也通常具有显着更好的稳健性。

    Jul, 2023

  • Boost then Convolve: 梯度提升相遇图神经网络

    该论文提出了一种新的网络结构，将 GNN 和 GBDT 训练在一起，以达到异质图表节点特征下最优化的效果，该模型经过广泛实验，证明在各种具有表格特征的图上性能显著提高。

    Jan, 2021

  • 知识树：基于知识神经元的梯度提升决策树作为探测分类器

    使用梯度提升决策树作为语言模型中隐藏层的检测分类器，相对于逻辑回归于转换器层的输出表示，用于识别句子部分更具优势，并且比许多其他方法更可取，根据预置设置，错误率的增益范围为 9-54%。

    Dec, 2023

  • （多任务）梯度提升树的可扩展特征选择

    本文提出了一种可伸缩的基于前向特征选择的梯度提升决策树方法，通过一种新颖的群体测试过程，在高维度下工作良好，并具有较好的理论性能和计算保证，可用于搜索和推荐中的排名和相关模型的构建。同时，该方法扩展到多任务设置，允许从多个任务中选择通用特征和选择任务特定特征，与现有的梯度提升决策树方法相比，在模型性能度量方面表现相当，但训练时间有显著提升。

    Sep, 2021

  • 鲁棒 - GBDT: 一种新的梯度提升模型用于噪声鲁棒分类

    该研究介绍了一种名为 Robust-GBDT 的噪声鲁棒增强模型，该模型在多类分类任务中应用广泛，通过采用凸可靠损失函数和处理类不平衡的新型鲁棒损失函数，有效抵抗标签噪声和类别不平衡，提高了分类准确性和泛化能力。

    Oct, 2023

  • NBDT：神经支持决策树

    该论文介绍了一种新的机器学习模型 Neural-Backed Decision Trees，该模型结合了神经网络和决策树的优点，具有高准确性和可解释性，并在 CIFAR、ImageNet 等数据集上表现优异，同时提高了人类信任度和帮助了数据集调试。

    Apr, 2020

  • 寻找优秀的训练样本以提升梯度提升决策树的效果

    解决了如何在树集合模型中找出影响力训练样本的问题，并对扩展该方法以适用于非参数模型提出了几种方法。实验证明，本方法不仅性能良好，而且计算效率高。

    Feb, 2018

  • 紧凑的多类别提升树

    描述了两种扩展标准树提升算法以提高小型模型精度的方法：一是将提升形式从标量树扩展到矢量树以支持多类分类器，二是采用逐层提升方法在函数空间中进行更小的步长，从而达到更快的收敛和更紧凑的集合，并在各种多类数据集上证明了其功效。

    Oct, 2017