Apr, 2022

基于 Transformer 的极端多标签文本分类中局部和全局特征的利用

PDF
TL;DR本研究提出了一种方法来结合 transformer 模型所产生的局部和全局特征，从而提高分类器的预测能力，在大规模分类任务的基准数据集上表现优异。
extreme multi-label text classificationpre-trained transformer modelslocal and global featuresdocument semanticsclassifier
发现论文，激发创造
  • 利用动态和细粒度的语义范围进行极端多标签文本分类

    本文提出了一种用于极端多标签文本分类的新型框架 TReaderXML，它采用动态和细粒度的语义范围来优化每个文本的先验类别语义范围，通过新型的双协作网络来找到目标标签，实验结果表明我们的方法在三个 XMLC 基准数据集上达到了新的最佳表现。

    May, 2022

  • 使用预训练变压器进行极端多标签文本分类

    本文提出了通过使用 X-Transformer 对深度 transformer 模型进行微调，来解决极端多标签文本分类 (XMC) 问题。其在 Wiki 数据集上的表现达到了 77.28%，是现有技术中最好的结果。

    May, 2019

  • 极度多标签文本分类的快速多分辨率 Transformer 微调

    该论文提出了一种名为 XR-Transformer 的新递归方法，以加速 transformer 模型在大标签空间上的微调过程，并在 3 百万标签的公共 Amazon-3M 数据集上取得了较快的训练速度，同时也提高了 Precision@1 从 51％提高到 54％，成为当今其他基于 transformer 的 XMC 模型的更好的最新结果之一。

    Oct, 2021

  • 基于混合注意力机制的标签感知文档表示法用于极端多标签文本分类

    该研究提出了一种名为 LAHA 的模型，该模型利用文本内容和标签关联性之间的语义关系，建立了一个显式的标签感知表征，特别是在尾标签的情况下，使得模型在非常大规模的标签集中的文本标记任务中表现出了卓越性能。

    May, 2019

  • MatchXML：一种高效的文本标签匹配框架用于极端多标签文本分类

    通过提出 MatchXML 框架，我们在 eXtreme Multi-label text Classification 领域取得了 state-of-the-art 的准确率和速度，其中关键技术包括 label embeddings、Hierarchical Label Tree 和 linear ranker。

    Aug, 2023

  • AttentionXML：基于标签树的注意力深度模型，用于高性能极端多标签文本分类

    本研究介绍了一种新的基于标签树的深度学习模型 AttentionXML，它采用多标签注意机制和浅而宽的概率标签树来处理极端多标签文本分类问题，能够对数百万个标签进行处理，并成功地解决了 BOW 和传统深度学习模型在文本分类中的局限性。在几个基准数据集上，AttentionXML 表现出比其他八种最先进的方法更好的性能，期望成为文本分类领域内的研究热点。

    Nov, 2018

  • 带自适应概率标签聚类的预训练广义自回归模型，用于极端多标签文本分类

    我们提出了一种新的深度学习方法 APLC-XLNet 来解决极端多标签文本分类的问题，通过自适应概率标签聚类来近似交叉熵损失，并在五个基准数据集上的实验显示，我们的方法在四个基准数据集上实现了最新的最佳结果.

    Jul, 2020

  • LightXML: 动态负采样的 Transformer 用于高性能极端多标签文本分类

    采用生成协同网络来实现端到端训练和动态负面标签抽样的 LightXML，解决了现存方法中需要组合多个模型训练和过程中静态采样负面标签等问题，在五个极端多标签数据集中验证实验证明，LightXML 比 AttentionXML 等方法具有更小的模型大小和较低的计算复杂度。

    Jan, 2021

  • CascadeXML: 极端多标签分类的端到端多分辨率训练的 Transformer 重构

    CascadeXML 是一种端到端的多分辨率学习流程，利用 transformer 模型的多层架构来应对不同的标签分辨率，并为每个分辨率保留独立的特征表示。CascadeXML 在标签数高达三百万的基准数据集上取得了显著的性能提升，是现有方法的最优选择。

    Oct, 2022

  • HAXMLNet：用于极端多标签文本分类的分层注意力网络

    提出了一个名为 HAXMLNet 的层次化网络结构，利用多标签关注机制来解决极端多标签文本分类问题，并在实验中表现出与其他最先进方法相媲美的性能。

    Mar, 2019