EMNLPOct, 2020

大规模多标签文本分类的实证研究，包括少量和零样本标签

PDF
TL;DR本研究在多个数据集上评估了多种 Large-scale Multi-label Text Classification 方法，发现基于概率标签树的层次分类方法优于 Label-Wise Attention Networks。另外，结合 Transformer 的方法在两个数据集上实现了优秀的性能，同时提出了一种新的最先进的方法，将 BERT 与 LWANs 相结合。此外，还引入了图形感知注释接近度度量，提出了利用标签层次结构来改进少量和零 - shot 学习的新模型。
large-scale multi-label text classificationlabel-wise attention networkshierarchical classificationtransformer-based approachesgraph-aware annotation proximity
发现论文，激发创造
  • 基于元数据诱导的对比学习，用于零样本多标签文本分类

    本研究使用元数据引导对比学习的方法来训练文本分类模型，从而在没有标注文件的情况下，提供更好的多标签文本分类性能，特别是在训练数据呈现长尾标签分布时。

    Feb, 2022

  • 强化标签层次推理提升预训练模型在零样本多标签文本分类中的表现

    本研究提出了一种加强预训练模型和标签层次结构的方法（RLHR）来优化 ZS-MTC 任务，并设计了一个回滚算法来消除推理期间的逻辑错误，实验结果显示我们的方法在三个真实数据集上表现更好，优于之前的非预训练方法。

    Apr, 2021

  • 多标签文本分类中用平衡更新和集体损失替代数据注释

    通过使用预训练语言模型，在低监督情况下有效提高多标签文本分类性能的方法。

    Sep, 2023

  • 大型语言模型的零样本文本分类器

    利用零样本学习采用递进性思维提示，与传统的问答格式相比，GPT 模型在文本分类问题上具备零样本分类器的能力，有效地利用提示策略在各种文本分类场景中展现出较好的性能。

    Dec, 2023

  • TELEClass: 在最小监督下的分类法丰富和 LLM 增强的分层文本分类

    通过自动丰富标签分类法和利用大型语言模型来进行弱监督的分层文本分类，我们的方法 TELEClass 在两个公共数据集上表现优于先前的弱监督分层文本分类方法和基于零样本提示的大型语言模型方法。

    Feb, 2024

  • 大型语言模型中利用标签变异进行零样本文本分类

    使用 5 种最先进的大型语言模型（LLMs）作为 “标注者” 在多个任务上进行评估，并比较其与人类标注的优缺点。总体而言，尽管 LLMs 在某些任务上表现出色，但它们无法替代人类标注的需求。

    Jul, 2023

  • 欧盟立法上的大规模多标签文本分类

    该研究在法律领域考虑了大规模多标签文本分类，提出了一个适用于 LMTC、few - 和 zero-shot 学习的新数据集 EURLEX，共包含 57k 个法律文档，注释有～4.3k 个 EUROVOC 标签；实验表明，具有标签注意力的 BIGRU 模型优于当前其他最先进的模型；领域特定的 WORD2VEC 和上下文敏感的 ELMO 嵌入进一步提高了性能；研究人员还发现，只考虑文档中的特定区域就足够了，这使得我们可以规避 BERT 的最大文本长度限制，并使用 fine-tune BERT 在所有情况下获得了最佳结果。

    Jun, 2019

  • 严格零样本分层分类的简单有效框架

    提出一种用于处理层级数据集的指示性长尾预测任务的方法，并结合蕴含 - 矛盾预测来解决大语言模型在零样本设置下容易失败的局限性。

    May, 2023

  • HFT-ONLSTM：分层微调的多标签文本分类

    本文提出了一个基于有序神经 LSTM 网络的分层和微调方法，缩写为 HFT-ONLSTM，以更准确地进行逐层 HMTC。 联合嵌入的新方法，基于父类别标签和文本数据进行准确捕捉文本和类别标签的联合特征，采用微调技术来训练参数，以使得上层文本分类结果对下层分类贡献。 实验结果表明，我们的方法在减少计算成本的同时，实现了优越的性能，优于基于分层和平面多标签文本分类方法的最新技术水平。

    Apr, 2022

  • 零样本文本分类的标签无关预训练

    本文旨在探究利用两种新的有效的预训练策略（Implicit 和 Explicit pre-training）来改善 PLMs 在不同方面与领域的数据上泛化能力，特别是在零样本情况下进行文本分类的任务。作者通过引入 UTCD 数据集进行评估，证明了该方法在一系列零样本范式的挑战数据集上实现了更好的泛化能力。

    May, 2023