本文中,我们探究了处理极端多标记分类问题的概率标记树(PLTs),并通过实现extremeText(XT)来证明PLTs在precision@k指标下是一个HSM的无遗憾多标签泛化。同时,我们证明了pick-one-label启发式算法在一般情况下不是一致的,我们的实现方法比使用pick-one-label的HSM和专门为XMLC问题设计的神经网络XML-CNN得到的结果更好。此外,XT在统计性能、模型大小和预测时间等方面与许多最先进的方法相当,适合部署在在线系统中。
Oct, 2018
本文提出了一种名为MACH的算法,用于处理极端分类问题,并在6个数据集上进行了测试,表明MACH优于目前市场上使用的分类模型,能够降低内存占用,加快训练速度。
Oct, 2019
本文针对极端多标签分类(XMC)问题,提出了一种基于数据增强的分类方法,该方法利用预训练的GPT-2模型生成输入文本的无标记扰动以增强现有训练数据,并与使用RoBERTa的标签注意分类器相结合,取得了较优效果。
Sep, 2020
本研究探讨如何解决深度学习中因分类数目巨大而导致的内存、计算资源消耗问题,提出一种大规模训练系统,通过使用混合并行训练框架、KNN softmax、梯度稀疏化等新方法,大幅提高了训练速度与效率,并在实验中取得了高准确率。
Feb, 2021
ECLARE是一种深度极端分类的算法,通过引入标签相关性来提高分类准确性,从而实现对于海量标签的实时预测。该算法在公共数据库和相关产品推荐数据上都表现良好。
Jul, 2021
本文介绍了 DeepXML 框架,它将深度极端多标签任务分解成四个简单的子任务,可以在公共短文本数据集上比领先的深度极端分类器更准确和更快地训练,并可用于 Bing 搜索引擎等多个应用。
Nov, 2021
通过研究表明,经过正确训练的标准双编码器模型在极限多标签分类问题中可以匹配或超越状态-of-the-art极限分类方法在Precision@1方面的性能,并且在可训练参数的数量上小20倍。
Oct, 2023
通过改进训练过程,使用参数高效的方法和适当的负样本,可以提高密集编码器在训练时的泛化能力,从而在单一数据集上训练时实现有效的泛化。
Nov, 2023
本研究通过替换图卷积网络为非图卷积网络的架构,利用图数据来规范编码器训练,提出了一种名为RAMEN的替代模型,以提高标签极度分类任务的性能,并在基准数据集上获得了高达15%的预测准确率提升,同时不增加推断计算成本。
Feb, 2024
该研究提出了一种称为UniDEC的新型可端对端训练框架,该框架通过使用多类损失将双编码器和分类器一起以统一的方式进行训练,以探索极端多标签分类中的两个关键方面:(i)双编码器训练通常仅使用单个正相关性,即使数据集提供更多;(ii)现有方法仅集中于使用一对多的多标签问题减少。通过采用一种称为Pick-Some-Label (PSL) 的新型多标签问题减少方法,所提出的框架在单个GPU上实现了最先进的结果,并在各种XML基准数据集上仅使用4-16倍的计算能力与多GPU最优方法相媲美,且在百万标签规模数据集上具有实际可扩展性。
May, 2024