Jun, 2024

检索式上下文学习用于少样本层次文本分类

PDF
TL;DR本研究提出了第一个以预训练语言模型为基础的在语境学习框架来从检索数据库中识别相关演示，并采用迭代策略处理多层次层级标签的少样本分类任务，通过不同目标实现对输入文本的层级分类，得到优越的实验结果，在少样本的层次分类任务中取得了最先进的成果。
发现论文，激发创造
  • 针对少样本分层文本分类的分层生成器

    此文提出了采用多 verbalizer 框架的层级文本分类方法以解决少样本低资源问题，该方法将标签层次结构嵌入到 verbalizer 中，显著优于采用图编码器注入层次结构的方法，结果表明此方案可极大地提高层级分类性能

    May, 2023

  • HPT: 针对分层文本分类的层次感知提示调整

    本研究提出了一种分层感知提示调节方法（HPT）来处理多标签文本分类（HTC），通过构建动态虚拟模板和标记词，融合标记层次结构知识并引入零界多标签交叉熵损失，以提高预训练语言模型在 HTC 领域的性能，实验结果表明 HPT 在三组常用数据集上均取得了最先进的表现，能够有效地处理平衡不足和低资源情况。

    Apr, 2022

  • 基于强化标签分配的层次文本分类

    该论文提出使用深度强化学习的方法学习标签分配策略，探索标签的层次结构，并在训练和推断时进行一致的探索决策，以提高层次文本分类的性能。实验结果表明，该方法平均提高了 33.4％的宏平均 F1 得分，并且在五个公共数据集上优于现有的最先进的层次文本分类方法。

    Aug, 2019

  • 多标签文本分类的上下文学习

    利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

    Sep, 2023

  • HILL：层次感知的信息无损对比学习用于层次文本分类

    探索自我监督学习在层次化文本分类中的可行性，并提出一种信息无损对比学习策略：HILL，以保留输入样本中的语义和句法信息并在学习过程中进行融合，实验证明其优越性。

    Mar, 2024

  • 层次感知联合对比学习实例和标签用于层次多标签文字分类

    通过使用层次化多标签文本分类和对比学习的方法，提出了一种叫做 HJCL 的方法来解决半监督学习中样本生成引入噪声的问题，并构造批次数据以实现对比学习目标的完全利用。

    Oct, 2023

  • 层次文本分类的约束序列到树生成

    本文提出一种基于序列生成的序列到树框架（Seq2Tree）用于建模层次标签结构的方法，在约束解码策略的基础上，使用动态词汇来保证结果的标签一致性，相较于以往的方法，在三个基准数据集上实现了显著且一致的改进。

    Apr, 2022

  • 利用对抗性训练的本地层次化方法进行层次文本分类

    本文介绍了一种基于对抗框架的本地层次结构，用于在几乎所有层次文本分类（HTC）模型中优化复杂的分类树形结构，实验证明该本地层次结构有助于处理复杂的分类树形结构并提高稀有类别的分类效果。

    Feb, 2024

  • 通过提示强化上下文学习唤醒大型语言模型以进行知识密集型任务

    提出了一种新的学习范式 —— 提示增强的上下文学习（Hint-enhanced In-Context Learning，HICL），通过从示范中提取与查询相关的知识，以更明确的方式提示大型语言模型（LLM），用于开放域问答，从而提高性能。

    Nov, 2023

  • HiGen: 基于层次的层次文本分类序列生成

    提出了一种基于语言模型的文本生成框架 HiGen 来解决多标签文本分类下的层次分类问题，通过动态文本表示方法和层级引导的损失函数，结合任务特定的预训练策略，处理数据和减轻类别不平衡问题，在 ENZYME、WOS 和 NYT 数据集上展示出优越性能。

    Jan, 2024