ICMLJul, 2023

预训练深度模型在标签稀缺的学习排序中胜过 GBDT

PDF
TL;DR该论文研究了无监督预训练是否能提高在标注数据远远少于非标注数据情况下的 LTR 问题中的性能，并通过使用特定于排序的改进方法，在无监督预训练的深度学习模型中表现出比 GBDT 和其他非预训练模型更好的性能，并且在排名异常数据方面也通常具有显着更好的稳健性。
deep learninggradient boosted decision treesunsupervised pretraininglearning-to-rankrank outlier data
发现论文，激发创造
  • 利用梯度提升决策树增强 Transformers 在 NLI 微调中的效能

    本文探讨了采用 Gradient Boosted Decision Trees 作为分类器的自然语言推断（NLI）任务方法，介绍了 FreeGBDT 方法，该方法可以在不增加神经网络的计算量的情况下，提高对特征的分类精度，实验证明 FreeGBDT 对于多个 NLI 数据集的 RoBERTa-large 基线模型都有稳定的提升。

    May, 2021

  • 正则化学习网络：表格数据的深度学习

    提出了一种名为 Regularization Learning Networks (RLNs) 的方法，通过引入一个有效的超参数调整方案来优化 DNN 在 tabular 数据集上的性能，获得了与 GBT 相当的性能。同时，RLNs 还产生了极度稀疏的网络，消除了高达 98% 的网络边缘和 82％的输入特征，提供了更可解释的模型，并揭示了网络分配给不同输入的重要性。

    May, 2018

  • 应用表格转换器挑战 Booking.com 诈骗检测中的梯度提升决策树

    使用 SSL 技术的基于 Transformer 的神经网络在欺诈检测任务中超越 GBDT 算法，在大规模实验中，预训练的 Transformer 模型在有限的微调数据上表现更加一致且需要较少的标记数据。

    May, 2024

  • 可微的无偏在线学习排名

    Pairwise Differentiable Gradient Descent (PDGD) is an efficient and unbiased Online Learning to Rank approach that allows for effective optimization of non-linear models based on user interactions and preferences, providing a better user experience than previously possible.

    Sep, 2018

  • 在线环境中的排名模型优化

    本文介绍了在线学习排序的两种最新方法：Dueling Bandit Gradient Descent（DBGD）和 Pairwise Differentiable Gradient Descent（PDGD）的比较及其在极端嘈杂和非连锁用户模型情况下的性能。结果表明，PDGD 在理想和最坏情况下的性能都比 DBGD 好，并且 DBGD 的理论边界不适用于任何常见的排序模型。

    Jan, 2019

  • TabR: 发掘检索辅助的表格深度学习的能力

    通过逐步增加一个与诸多表格检索模型类似的注意力检索组件，TabR 模型在一组公开基准测试中表现出最佳平均性能，成为几个数据集上的最新技术标准，甚至在最近提出的 “GBDT 友好” 基准测试中超越了 GBDT 模型。

    Jul, 2023

  • 神经网络何时在表格数据上优于增强树？

    该研究分析了在标签数据上使用神经网络（NN）和梯度增强决策树（GBDT）的性能差异，发现针对不同数据集，NN 和 GBDT 的表现各有千秋，需要根据数据集来选择合适的算法并进行超参数调优。

    May, 2023

  • 基于规范化伪标签的自我训练在表格数据上的再探讨

    本文探讨了在表格数据情景下，如何利用自训练和课程伪标记方法来应对半监督和自监督学习中存在的大量标记数据需求与非标记数据的局限性，同时提出了一种基于伪标记生成的置信度得分的新方法，通过该方法可以在高密度区域获得更可靠的伪标签。

    Feb, 2023

  • 树状模型在表格数据上为何仍然优于深度学习？

    通过与传统树模型如 XGBoost 和随机森林的对比，研究发现，对于中等大小数据集（约 10K 个样本），树模型仍然是当前在表格数据上的最佳选择；研究还提出了神经网络在表格数据上建模的若干挑战，并为后续研究提供基准测试数据和计算资源。

    Jul, 2022

  • 无梯度结构剪枝与未标记数据

    本文提出一种基于无标签数据的梯度无关结构裁剪框架，能够在不降低准确度的情况下，显著地减少预训练模型的计算成本，从而提高大型语言模型的推理效率。

    Mar, 2023