ACLApr, 2021

强化标签层次推理提升预训练模型在零样本多标签文本分类中的表现

PDF
TL;DR本研究提出了一种加强预训练模型和标签层次结构的方法（RLHR）来优化 ZS-MTC 任务，并设计了一个回滚算法来消除推理期间的逻辑错误，实验结果显示我们的方法在三个真实数据集上表现更好，优于之前的非预训练方法。
label hierarchieszero-shot multi-label text classificationbertpretrained modelsreinforced label hierarchy reasoning
发现论文，激发创造
  • 大规模多标签文本分类的实证研究，包括少量和零样本标签

    本研究在多个数据集上评估了多种 Large-scale Multi-label Text Classification 方法，发现基于概率标签树的层次分类方法优于 Label-Wise Attention Networks。另外，结合 Transformer 的方法在两个数据集上实现了优秀的性能，同时提出了一种新的最先进的方法，将 BERT 与 LWANs 相结合。此外，还引入了图形感知注释接近度度量，提出了利用标签层次结构来改进少量和零 - shot 学习的新模型。

    Oct, 2020

  • 基于强化标签分配的层次文本分类

    该论文提出使用深度强化学习的方法学习标签分配策略，探索标签的层次结构，并在训练和推断时进行一致的探索决策，以提高层次文本分类的性能。实验结果表明，该方法平均提高了 33.4％的宏平均 F1 得分，并且在五个公共数据集上优于现有的最先进的层次文本分类方法。

    Aug, 2019

  • HPT: 针对分层文本分类的层次感知提示调整

    本研究提出了一种分层感知提示调节方法（HPT）来处理多标签文本分类（HTC），通过构建动态虚拟模板和标记词，融合标记层次结构知识并引入零界多标签交叉熵损失，以提高预训练语言模型在 HTC 领域的性能，实验结果表明 HPT 在三组常用数据集上均取得了最先进的表现，能够有效地处理平衡不足和低资源情况。

    Apr, 2022

  • 语言模型作为层次编码器

    利用超几何空间重新训练语言模型中的分层转换器编码器（Hierarchy Transformer encoders，HiTs），为回归语言模型中隐含的分层结构提供了一种新的方法，通过聚类与层级组织相关实体来提高在推论、预测和跨层次知识传递等任务中的性能和可转移性。

    Jan, 2024

  • 将层次结构纳入文本编码器：一个基于对比学习的层次文本分类方法

    本文提出了一种将层级结构直接嵌入文本编码器的层次引导对比学习（HGCLR）方法，通过此方法，将正样本进行层次指导，以学习生成具备层次感知的文本表示，在三个基准数据集上的实验证明了 HGCLR 的有效性。

    Mar, 2022

  • TELEClass: 在最小监督下的分类法丰富和 LLM 增强的分层文本分类

    通过自动丰富标签分类法和利用大型语言模型来进行弱监督的分层文本分类，我们的方法 TELEClass 在两个公共数据集上表现优于先前的弱监督分层文本分类方法和基于零样本提示的大型语言模型方法。

    Feb, 2024

  • 层次感知联合对比学习实例和标签用于层次多标签文字分类

    通过使用层次化多标签文本分类和对比学习的方法，提出了一种叫做 HJCL 的方法来解决半监督学习中样本生成引入噪声的问题，并构造批次数据以实现对比学习目标的完全利用。

    Oct, 2023

  • 使用结构化知识图谱进行多标签零样本学习

    本文提出了一种新的深度学习架构，用于多标签零样本学习，在这种学习中，可以为每个输入实例预测多个看不见的标签。研究人员提出了一个框架，结合了知识图谱和语义标签空间信息传播机制进行视觉推理，以解决多标签分类和 ML-ZSL 任务。与现有技术相比，该方法的性能相当或有所提高。

    Nov, 2017

  • 极限零样本学习在极端文本分类中的应用

    本文提出了一种使用预训练的 Transformer 编码器通过自监督对比损失学习实例和标签的语义嵌入的方法，即 MACLR，以解决极端多标签文本分类问题，包括 GZ-XMC、Extreme Zero-Shot XMC 和 Few-Shot XMC，在多个公共 EZ-XMC 数据集上实现了更好的性能。

    Dec, 2021

  • 零样本文本分类的标签无关预训练

    本文旨在探究利用两种新的有效的预训练策略（Implicit 和 Explicit pre-training）来改善 PLMs 在不同方面与领域的数据上泛化能力，特别是在零样本情况下进行文本分类的任务。作者通过引入 UTCD 数据集进行评估，证明了该方法在一系列零样本范式的挑战数据集上实现了更好的泛化能力。

    May, 2023