针对少样本分层文本分类的分层生成器
本研究提出了一种分层感知提示调节方法(HPT)来处理多标签文本分类(HTC),通过构建动态虚拟模板和标记词,融合标记层次结构知识并引入零界多标签交叉熵损失,以提高预训练语言模型在 HTC 领域的性能,实验结果表明 HPT 在三组常用数据集上均取得了最先进的表现,能够有效地处理平衡不足和低资源情况。
Apr, 2022
本研究提出了第一个以预训练语言模型为基础的在语境学习框架来从检索数据库中识别相关演示,并采用迭代策略处理多层次层级标签的少样本分类任务,通过不同目标实现对输入文本的层级分类,得到优越的实验结果,在少样本的层次分类任务中取得了最先进的成果。
Jun, 2024
提出了基于原型向量的语言预训练模型元素标定方法 ProtoVerb,使用对比学习算法在训练数据中学习原型向量作为元素标定器,显著优于现有自动元素标定器,特别是在数据稀缺场景下。ProtoVerb 即使在未调整的 PLMs 上也能提高基于提示的微调精度。
Mar, 2022
本研究提出一种称为分层提示调整的新方法,利用大语言模型(LLMs)建立描述每个类别的图形模型,以模拟描述类别的实体和属性及其相关性,并通过引入关系引导注意模块来捕捉实体和属性之间的关联,以及通过结合整体语义建模来处理更复杂和长期的关系。实验结果表明,我们的方法具有很强的效果,并且比现有的最先进方法具有更好的泛化性能。
Dec, 2023
本文提出了一种新的进化式口头表述搜索算法用于构建最优的口头表述器,在少量数据情况下使用预训练的语言模型以及任务特定提示能够极大地提高准确性,进一步推进了小样本文本分类的研究。
Jun, 2023
提出了一种基于语言模型的文本生成框架 HiGen 来解决多标签文本分类下的层次分类问题,通过动态文本表示方法和层级引导的损失函数,结合任务特定的预训练策略,处理数据和减轻类别不平衡问题,在 ENZYME、WOS 和 NYT 数据集上展示出优越性能。
Jan, 2024
该论文提出使用深度强化学习的方法学习标签分配策略,探索标签的层次结构,并在训练和推断时进行一致的探索决策,以提高层次文本分类的性能。实验结果表明,该方法平均提高了 33.4%的宏平均 F1 得分,并且在五个公共数据集上优于现有的最先进的层次文本分类方法。
Aug, 2019
本文提出一种基于序列生成的序列到树框架(Seq2Tree)用于建模层次标签结构的方法,在约束解码策略的基础上,使用动态词汇来保证结果的标签一致性,相较于以往的方法,在三个基准数据集上实现了显著且一致的改进。
Apr, 2022
本文介绍了一种基于对抗框架的本地层次结构,用于在几乎所有层次文本分类(HTC)模型中优化复杂的分类树形结构,实验证明该本地层次结构有助于处理复杂的分类树形结构并提高稀有类别的分类效果。
Feb, 2024