Jan, 2022

GUDN：一种具有标签强化策略的新型引导网络，用于极端多标签文本分类

PDF
TL;DR本文提出了一种新的指南网络 (GUDN) 来改进大规模预训练模型在具有极端多标签文本分类 (XMTC) 任务的精细调整和标签语义探索方面的性能，并在 Eurlex-4k 数据集上表现出超越先前最先进方法以及在其他常用数据集上具有良好的结果，并进一步研究了输入长度对基于 Transformer 模型的准确性的影响。
发现论文，激发创造
  • 利用动态和细粒度的语义范围进行极端多标签文本分类

    本文提出了一种用于极端多标签文本分类的新型框架 TReaderXML，它采用动态和细粒度的语义范围来优化每个文本的先验类别语义范围，通过新型的双协作网络来找到目标标签，实验结果表明我们的方法在三个 XMLC 基准数据集上达到了新的最佳表现。

    May, 2022

  • 极端多标记分类中的聚类引导标签生成

    本文提出了一种用于极端多标签分类的标签生成方法，该方法利用预训练的文本生成模型，通过标签聚类信息对标签进行层次生成。该方法在四个常见的极端多标签分类基准测试中表现出色，尤其在影响较小的标签上表现更佳。此外，该方法生成的标签不仅实用，而且还具有未知类别的高可信度。

    Feb, 2023

  • UniDEC：集成双重编码器和分类器的极端多标签分类训练

    该研究提出了一种称为 UniDEC 的新型可端对端训练框架，该框架通过使用多类损失将双编码器和分类器一起以统一的方式进行训练，以探索极端多标签分类中的两个关键方面：(i) 双编码器训练通常仅使用单个正相关性，即使数据集提供更多；(ii) 现有方法仅集中于使用一对多的多标签问题减少。通过采用一种称为 Pick-Some-Label (PSL) 的新型多标签问题减少方法，所提出的框架在单个 GPU 上实现了最先进的结果，并在各种 XML 基准数据集上仅使用 4-16 倍的计算能力与多 GPU 最优方法相媲美，且在百万标签规模数据集上具有实际可扩展性。

    May, 2024

  • 基于 Transformer 的极端多标签文本分类中局部和全局特征的利用

    本研究提出了一种方法来结合 transformer 模型所产生的局部和全局特征，从而提高分类器的预测能力，在大规模分类任务的基准数据集上表现优异。

    Apr, 2022

  • 极端多标签法律文本分类：欧盟立法案例研究

    本文讨论在法律领域中进行的极端多标签文本分类（XMTC）任务，并发布了一个新的数据集，其中包含 57k 份来自欧洲公共文档数据库 EURLEX 的立法文件，注释了来自多学科词库 EUROVOC 的概念。本文实验了几种神经分类器，表明采用 self-attention 的 BIGRUs 优于目前使用基于标签的注意力的多标签最先进方法。用 BIGRUs 替换 CNN 在基于标签的注意力网络中，从而获得了最佳的整体性能。

    May, 2019

  • 多模态极限分类

    该论文开发了 MUFIN 技术，用于具有数百万标签的极端分类（XC）任务，其中数据点和标签具有视觉和文本描述。MUFIN 用于产品推荐和竞价查询预测。

    Sep, 2023

  • 生成模型实现开放词汇极端分类

    本文提出了一种针对开放词汇的极端多标签分类（OXMC）任务的序列到序列模型 ——GROOV，该模型可预测给定语料库之外的标签，且在预测已知标签时与现有最先进解决方案表现相当。

    May, 2022

  • 极端多标签分类中的数据增广

    本文针对极端多标签分类（XMC）问题，提出了一种基于数据增强的分类方法，该方法利用预训练的 GPT-2 模型生成输入文本的无标记扰动以增强现有训练数据，并与使用 RoBERTa 的标签注意分类器相结合，取得了较优效果。

    Sep, 2020

  • 自然语言理解的多任务深度神经网络

    本文介绍了一种用于跨多个自然语言理解任务的表示学习的多任务深度神经网络（MT-DNN），其延伸了 Liu 等人（2015）所提出的模型，并包含一个预先训练的双向变形器语言模型（BERT）。MT-DNN 在 10 个 NLU 任务中实现了新的最先进结果，并提高了 GLUE 基准至 82.7％（2.2％的绝对改进），其代表着领先水平。同时，我们还展示了 MT-DNN 所学习到的表征，可以用较少的数据实现领域适应，比预先训练的 BERT 表征更加优秀。

    Jan, 2019

  • 带自适应概率标签聚类的预训练广义自回归模型，用于极端多标签文本分类

    我们提出了一种新的深度学习方法 APLC-XLNet 来解决极端多标签文本分类的问题，通过自适应概率标签聚类来近似交叉熵损失，并在五个基准数据集上的实验显示，我们的方法在四个基准数据集上实现了最新的最佳结果.

    Jul, 2020