Jan, 2021

LightXML: 动态负采样的 Transformer 用于高性能极端多标签文本分类

PDF
TL;DR采用生成协同网络来实现端到端训练和动态负面标签抽样的 LightXML，解决了现存方法中需要组合多个模型训练和过程中静态采样负面标签等问题，在五个极端多标签数据集中验证实验证明，LightXML 比 AttentionXML 等方法具有更小的模型大小和较低的计算复杂度。
extreme multi-label text classificationdeep learningend-to-end traininglabel ranking modeldynamic negative labels sampling
发现论文，激发创造
  • 轻量级深度极端多标签分类

    本文提出一种名为 LightDXML 的方法来解决极端多标签分类的问题，使用标签嵌入代替特征嵌入进行负采样，并通过三个主要阶段迭代训练，从而在保持时间和内存要求的同时，达到与深度学习方法相当的预测准确性。

    Apr, 2023

  • CascadeXML: 极端多标签分类的端到端多分辨率训练的 Transformer 重构

    CascadeXML 是一种端到端的多分辨率学习流程，利用 transformer 模型的多层架构来应对不同的标签分辨率，并为每个分辨率保留独立的特征表示。CascadeXML 在标签数高达三百万的基准数据集上取得了显著的性能提升，是现有方法的最优选择。

    Oct, 2022

  • 极度多标签文本分类的快速多分辨率 Transformer 微调

    该论文提出了一种名为 XR-Transformer 的新递归方法，以加速 transformer 模型在大标签空间上的微调过程，并在 3 百万标签的公共 Amazon-3M 数据集上取得了较快的训练速度，同时也提高了 Precision@1 从 51％提高到 54％，成为当今其他基于 transformer 的 XMC 模型的更好的最新结果之一。

    Oct, 2021

  • MatchXML：一种高效的文本标签匹配框架用于极端多标签文本分类

    通过提出 MatchXML 框架，我们在 eXtreme Multi-label text Classification 领域取得了 state-of-the-art 的准确率和速度，其中关键技术包括 label embeddings、Hierarchical Label Tree 和 linear ranker。

    Aug, 2023

  • 使用预训练变压器进行极端多标签文本分类

    本文提出了通过使用 X-Transformer 对深度 transformer 模型进行微调，来解决极端多标签文本分类 (XMC) 问题。其在 Wiki 数据集上的表现达到了 77.28%，是现有技术中最好的结果。

    May, 2019

  • AttentionXML：基于标签树的注意力深度模型，用于高性能极端多标签文本分类

    本研究介绍了一种新的基于标签树的深度学习模型 AttentionXML，它采用多标签注意机制和浅而宽的概率标签树来处理极端多标签文本分类问题，能够对数百万个标签进行处理，并成功地解决了 BOW 和传统深度学习模型在文本分类中的局限性。在几个基准数据集上，AttentionXML 表现出比其他八种最先进的方法更好的性能，期望成为文本分类领域内的研究热点。

    Nov, 2018

  • 基于排序的自编码器极端多标签分类

    本文提出了基于深度学习的 XML 方法，采用基于词向量的自注意力和基于排序的自编码器，不仅能处理特征和标签之间的依赖关系，同时也可以考虑标签之间的依赖关系，该方法在标准数据集上表现优异。

    Apr, 2019

  • 利用动态和细粒度的语义范围进行极端多标签文本分类

    本文提出了一种用于极端多标签文本分类的新型框架 TReaderXML，它采用动态和细粒度的语义范围来优化每个文本的先验类别语义范围，通过新型的双协作网络来找到目标标签，实验结果表明我们的方法在三个 XMLC 基准数据集上达到了新的最佳表现。

    May, 2022

  • HAXMLNet：用于极端多标签文本分类的分层注意力网络

    提出了一个名为 HAXMLNet 的层次化网络结构，利用多标签关注机制来解决极端多标签文本分类问题，并在实验中表现出与其他最先进方法相媲美的性能。

    Mar, 2019

  • ICXML: 零样本极度多标签分类的上下文学习框架

    本文研究极端多标记分类（XMC）任务，提出了一种使用上下文学习方法的 In-Context Extreme Multilabel Learning（ICXML）框架，通过生成候选标签集并对其进行排名，进一步提升了 XMC 领域的研究进展。

    Nov, 2023