EMNLPApr, 2022

HPT: 针对分层文本分类的层次感知提示调整

PDF
TL;DR本研究提出了一种分层感知提示调节方法（HPT）来处理多标签文本分类（HTC），通过构建动态虚拟模板和标记词，融合标记层次结构知识并引入零界多标签交叉熵损失，以提高预训练语言模型在 HTC 领域的性能，实验结果表明 HPT 在三组常用数据集上均取得了最先进的表现，能够有效地处理平衡不足和低资源情况。
hierarchical text classificationpretrained language modelsmulti-label classificationhierarchy-aware prompt tuningzero-bounded multi-label cross entropy loss
发现论文，激发创造
  • 针对少样本分层文本分类的分层生成器

    此文提出了采用多 verbalizer 框架的层级文本分类方法以解决少样本低资源问题，该方法将标签层次结构嵌入到 verbalizer 中，显著优于采用图编码器注入层次结构的方法，结果表明此方案可极大地提高层级分类性能

    May, 2023

  • 层次指导分类法：大型语言模型的通用评估框架

    通过引入层次化提示分类法及其规则以及自适应层次化提示框架，研究衡量大型语言模型在解决多样任务中的效果，进而发展一种用于评估数据集复杂性和语言模型能力的通用评价指标。

    Jun, 2024

  • 检索式上下文学习用于少样本层次文本分类

    本研究提出了第一个以预训练语言模型为基础的在语境学习框架来从检索数据库中识别相关演示，并采用迭代策略处理多层次层级标签的少样本分类任务，通过不同目标实现对输入文本的层级分类，得到优越的实验结果，在少样本的层次分类任务中取得了最先进的成果。

    Jun, 2024

  • 基于强化标签分配的层次文本分类

    该论文提出使用深度强化学习的方法学习标签分配策略，探索标签的层次结构，并在训练和推断时进行一致的探索决策，以提高层次文本分类的性能。实验结果表明，该方法平均提高了 33.4％的宏平均 F1 得分，并且在五个公共数据集上优于现有的最先进的层次文本分类方法。

    Aug, 2019

  • 基于结构化语言知识的视觉 - 语言模型的层次化提示学习

    本研究提出一种称为分层提示调整的新方法，利用大语言模型（LLMs）建立描述每个类别的图形模型，以模拟描述类别的实体和属性及其相关性，并通过引入关系引导注意模块来捕捉实体和属性之间的关联，以及通过结合整体语义建模来处理更复杂和长期的关系。实验结果表明，我们的方法具有很强的效果，并且比现有的最先进方法具有更好的泛化性能。

    Dec, 2023

  • HFT-ONLSTM：分层微调的多标签文本分类

    本文提出了一个基于有序神经 LSTM 网络的分层和微调方法，缩写为 HFT-ONLSTM，以更准确地进行逐层 HMTC。 联合嵌入的新方法，基于父类别标签和文本数据进行准确捕捉文本和类别标签的联合特征，采用微调技术来训练参数，以使得上层文本分类结果对下层分类贡献。 实验结果表明，我们的方法在减少计算成本的同时，实现了优越的性能，优于基于分层和平面多标签文本分类方法的最新技术水平。

    Apr, 2022

  • 利用对抗性训练的本地层次化方法进行层次文本分类

    本文介绍了一种基于对抗框架的本地层次结构，用于在几乎所有层次文本分类（HTC）模型中优化复杂的分类树形结构，实验证明该本地层次结构有助于处理复杂的分类树形结构并提高稀有类别的分类效果。

    Feb, 2024

  • 优化预训练语言模型加速专题投资

    Prompt Tuning 对我们通常用 Pretrained Language Models 进行的多标签文本分类任务有着更好的性能和计算效率。

    Sep, 2023

  • HiGen: 基于层次的层次文本分类序列生成

    提出了一种基于语言模型的文本生成框架 HiGen 来解决多标签文本分类下的层次分类问题，通过动态文本表示方法和层级引导的损失函数，结合任务特定的预训练策略，处理数据和减轻类别不平衡问题，在 ENZYME、WOS 和 NYT 数据集上展示出优越性能。

    Jan, 2024

  • ProTeCt：适用于分层一致性的提示调整

    该研究提出了一种基于 prompt tuning 的技术，名为 Protect，用于校准模型在不同标签集粒度下的分类准确性，并且结果表明 Protect 可以显著提高开放粒度分类性能，同时不会降低原始分类水平的性能。

    Jun, 2023