ACLFeb, 2018

结构化梯度树提升算法用于集体实体消歧

PDF
TL;DR本研究提出了一种基于渐进树提升（gradient tree boosting）的结构学习模型，用于在文档中共同消歧命名实体，并通过提出的双向束搜索算法 BiBSG 进行近似推断。在标准基准数据集上的实验表明，该模型显着提高了先前发表结果，特别是在 AIDA-CoNLL 数据集上表现优异。
gradient tree boostingstructured learning modelnamed entity disambiguationapproximate inferencenatural language processing
发现论文，激发创造
  • 区块分布式梯度提升树

    提出了基于块的分布式梯度提升树算法（GBT），以解决传统分布式 GBT 算法中针对数据点而非特征的可扩展性问题。该算法针对数据稀疏性和数据特征进行了定制，通过适应 Quickscorer 算法在块分布式设置中的使用，可在稀疏数据中实现通信成本的多个数量级降低，同时不损失准确性。

    Apr, 2019

  • 加速梯度提升

    本文介绍了一种基于渐进提升方法和 Nesterov 加速下降的新算法 AGB，不但表现突出，在不同预测问题中还表现出更好的稀疏性和少对收缩参数的敏感性。

    Mar, 2018

  • 基于 Gradient-Boosting 的结构化和非结构化学习

    提出了两个结构化和非结构化数据都存在的问题的框架，采用梯度提升和深度神经网络相结合，可以提高性能。这些框架在各种数据集上进行了实验，表现优于基线方法 0.1％-4.7％。

    Feb, 2023

  • 利用梯度提升决策树增强 Transformers 在 NLI 微调中的效能

    本文探讨了采用 Gradient Boosted Decision Trees 作为分类器的自然语言推断（NLI）任务方法，介绍了 FreeGBDT 方法，该方法可以在不增加神经网络的计算量的情况下，提高对特征的分类精度，实验证明 FreeGBDT 对于多个 NLI 数据集的 RoBERTa-large 基线模型都有稳定的提升。

    May, 2021

  • 基于神经网络体系结构的通用决策树集成：分布式梯度提升森林 (DGBF)

    决策树组合算法（如 RandomForest 和 GradientBoosting）在对于离散或表格数据进行建模方面是主导方法，但是由于它们无法像神经网络那样从原始数据中进行层次化表示学习，因此限制了其在深度学习问题和建模非结构化数据方面的应用。然而，本研究表明通过将 bagging 和 boosting 的数学形式结合起来，可以定义一个具有分布式表示学习过程的图结构树集成算法，并且不需要使用反向传播算法，我们称之为分布式梯度提升森林（DGBF）。最后，我们发现分布式学习在 9 个数据集中的 7 个中表现优于 RandomForest 和 GradientBoosting。

    Feb, 2024

  • 基于任务的分裂梯度提升树用于多中心糖尿病预测

    本研究旨在解决糖尿病预测中的两个主要挑战：数据异质性和数据不足问题。通过采用梯度提升决策树（GBDT）处理数据异质性，引入多任务学习（MTL）解决数据不足问题，提出了一种名为 Task-wise Split Gradient Boosting Trees (TSGB) 的新算法用于多中心糖尿病预测任务，通过评估每个任务的 Task gain 以及采用基于任务增益统计量的 Task-wise Split 等算法优化了预测效果。

    Aug, 2021

  • 扩散增强树

    融合去噪扩散概率模型和梯度提升方法，引入扩散增强范式以解决监督学习问题。我们开发了扩散增强树（DBT），它可以被视为一种新的去噪扩散生成模型，其参数由决策树（每个扩散时间步长一个单一树）进行参数化，同时也是一种新的提升算法，可以把弱学习器结合成条件分布的强学习器，而不对其密度形式进行显式的参数化假设。通过实验证明了 DBT 相较于基于深度神经网络的扩散模型的优势，以及 DBT 在真实回归任务上的能力，并展示了将 DBT 应用于表格数据（欺诈检测）进行分类学习且具备学习推迟的能力。

    Jun, 2024

  • 紧凑的多类别提升树

    描述了两种扩展标准树提升算法以提高小型模型精度的方法：一是将提升形式从标量树扩展到矢量树以支持多类分类器，二是采用逐层提升方法在函数空间中进行更小的步长，从而达到更快的收敛和更紧凑的集合，并在各种多类数据集上证明了其功效。

    Oct, 2017

  • （多任务）梯度提升树的可扩展特征选择

    本文提出了一种可伸缩的基于前向特征选择的梯度提升决策树方法，通过一种新颖的群体测试过程，在高维度下工作良好，并具有较好的理论性能和计算保证，可用于搜索和推荐中的排名和相关模型的构建。同时，该方法扩展到多任务设置，允许从多个任务中选择通用特征和选择任务特定特征，与现有的梯度提升决策树方法相比，在模型性能度量方面表现相当，但训练时间有显著提升。

    Sep, 2021

  • Boost then Convolve: 梯度提升相遇图神经网络

    该论文提出了一种新的网络结构，将 GNN 和 GBDT 训练在一起，以达到异质图表节点特征下最优化的效果，该模型经过广泛实验，证明在各种具有表格特征的图上性能显著提高。

    Jan, 2021