Oct, 2021

极度多标签文本分类的快速多分辨率 Transformer 微调

PDF
TL;DR该论文提出了一种名为 XR-Transformer 的新递归方法，以加速 transformer 模型在大标签空间上的微调过程，并在 3 百万标签的公共 Amazon-3M 数据集上取得了较快的训练速度，同时也提高了 Precision@1 从 51％提高到 54％，成为当今其他基于 transformer 的 XMC 模型的更好的最新结果之一。
发现论文，激发创造
  • 使用预训练变压器进行极端多标签文本分类

    本文提出了通过使用 X-Transformer 对深度 transformer 模型进行微调，来解决极端多标签文本分类 (XMC) 问题。其在 Wiki 数据集上的表现达到了 77.28%，是现有技术中最好的结果。

    May, 2019

  • CascadeXML: 极端多标签分类的端到端多分辨率训练的 Transformer 重构

    CascadeXML 是一种端到端的多分辨率学习流程，利用 transformer 模型的多层架构来应对不同的标签分辨率，并为每个分辨率保留独立的特征表示。CascadeXML 在标签数高达三百万的基准数据集上取得了显著的性能提升，是现有方法的最优选择。

    Oct, 2022

  • LightXML: 动态负采样的 Transformer 用于高性能极端多标签文本分类

    采用生成协同网络来实现端到端训练和动态负面标签抽样的 LightXML，解决了现存方法中需要组合多个模型训练和过程中静态采样负面标签等问题，在五个极端多标签数据集中验证实验证明，LightXML 比 AttentionXML 等方法具有更小的模型大小和较低的计算复杂度。

    Jan, 2021

  • 基于 Transformer 的极端多标签文本分类中局部和全局特征的利用

    本研究提出了一种方法来结合 transformer 模型所产生的局部和全局特征，从而提高分类器的预测能力，在大规模分类任务的基准数据集上表现优异。

    Apr, 2022

  • MatchXML：一种高效的文本标签匹配框架用于极端多标签文本分类

    通过提出 MatchXML 框架，我们在 eXtreme Multi-label text Classification 领域取得了 state-of-the-art 的准确率和速度，其中关键技术包括 label embeddings、Hierarchical Label Tree 和 linear ranker。

    Aug, 2023

  • 极端多标签分类中的数据增广

    本文针对极端多标签分类（XMC）问题，提出了一种基于数据增强的分类方法，该方法利用预训练的 GPT-2 模型生成输入文本的无标记扰动以增强现有训练数据，并与使用 RoBERTa 的标签注意分类器相结合，取得了较优效果。

    Sep, 2020

  • 极限零样本学习在极端文本分类中的应用

    本文提出了一种使用预训练的 Transformer 编码器通过自监督对比损失学习实例和标签的语义嵌入的方法，即 MACLR，以解决极端多标签文本分类问题，包括 GZ-XMC、Extreme Zero-Shot XMC 和 Few-Shot XMC，在多个公共 EZ-XMC 数据集上实现了更好的性能。

    Dec, 2021

  • 利用动态和细粒度的语义范围进行极端多标签文本分类

    本文提出了一种用于极端多标签文本分类的新型框架 TReaderXML，它采用动态和细粒度的语义范围来优化每个文本的先验类别语义范围，通过新型的双协作网络来找到目标标签，实验结果表明我们的方法在三个 XMLC 基准数据集上达到了新的最佳表现。

    May, 2022

  • 来自聚合标签的极端多标记分类

    我们开发了一种新的可扩展算法，用于从组标签中填充单个样本标签，并提供了一个新的端对端框架作为扩展，解决多示例多标签问题，在聚合标签的 XMC 和 MIML 任务上的实验表明了对现有方法的优势。

    Apr, 2020

  • 极端多标记分类中的聚类引导标签生成

    本文提出了一种用于极端多标签分类的标签生成方法，该方法利用预训练的文本生成模型，通过标签聚类信息对标签进行层次生成。该方法在四个常见的极端多标签分类基准测试中表现出色，尤其在影响较小的标签上表现更佳。此外，该方法生成的标签不仅实用，而且还具有未知类别的高可信度。

    Feb, 2023