通过迭代推理链实现领域层次适应的小样本层次文本分类
本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法,其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合,实现相关领域之间的参数共享。GPT-2和C4中最多的100个网站上的实验结果表明,这种方法可以全面提高领域内性能,并提供了一种推理时间算法来推出新领域的泛化性能,同时只能增加成本。
Dec, 2021
本研究提出了一种分层感知提示调节方法(HPT)来处理多标签文本分类(HTC),通过构建动态虚拟模板和标记词,融合标记层次结构知识并引入零界多标签交叉熵损失,以提高预训练语言模型在HTC领域的性能,实验结果表明 HPT 在三组常用数据集上均取得了最先进的表现,能够有效地处理平衡不足和低资源情况。
Apr, 2022
本研究提出了一个使用 Hierarchy-guided BERT with Global and Local hierarchies (HBGL) 方法来处理层级文本分类中的全局和本地层次结构,并将其应用于三个基准数据集,取得显著的改善。
May, 2022
本文提出了Hierarchy-aware Tree Isomorphism Network (HiTIN) 模型,该模型仅利用标签层次的句法信息增强文本表示,并成功在多个数据集上实现了良好的表现和更少的内存消耗。
May, 2023
此文提出了采用多verbalizer框架的层级文本分类方法以解决少样本低资源问题,该方法将标签层次结构嵌入到verbalizer中,显著优于采用图编码器注入层次结构的方法,结果表明此方案可极大地提高层级分类性能
May, 2023
提出了一种基于语言模型的文本生成框架HiGen来解决多标签文本分类下的层次分类问题,通过动态文本表示方法和层级引导的损失函数,结合任务特定的预训练策略,处理数据和减轻类别不平衡问题,在ENZYME、WOS和NYT数据集上展示出优越性能。
Jan, 2024
本研究提出了第一个以预训练语言模型为基础的在语境学习框架来从检索数据库中识别相关演示,并采用迭代策略处理多层次层级标签的少样本分类任务,通过不同目标实现对输入文本的层级分类,得到优越的实验结果,在少样本的层次分类任务中取得了最先进的成果。
Jun, 2024
该研究解决了层次文本分类中现有模型在处理大规模分类层次时参数急剧增加的问题。提出了一种名为层次局部对比学习(HiLCL)的新学习任务,以高效引入层次信息。实验结果表明,HiLight模型在保持轻量化的同时,依然能够有效地进行层次文本分类。
Aug, 2024
本研究解决了现有层次文本分类方法中,文本与标签对齐动态性不足的问题。提出的文本-标签对齐损失(TLA)通过对比学习,实现文本与正标签的紧密对齐,同时远离负标签,大大增强了文本表示与相关标签之间的关联性。实验结果表明,基于此框架的层次文本-标签对齐模型(HTLA)在基准数据集上取得了显著效果,展现出对层次文本分类的潜在影响。
Sep, 2024