ACLJun, 2023

使用 PLMs 重新审视少样本意图分类：直接微调 vs. 连续预训练

PDF
TL;DR本文针对少样本意图检测任务进行研究，提出一种新的方法，即直接在少量标记数据上对预训练语言模型（PLMs）进行微调，使用上下文增强方法和序列自蒸馏技术进一步优化性能。实验表明，该方法优于许多强基线方法，甚至是在只有每类两个或更多标记样本的情况下。
发现论文，激发创造
  • 关于在代码的预训练语言模型中使用连续学习以实现针对分布外的泛化

    本文提出可解决 Pre-trained language models 在软件代码动态环境下 catastrophic forgetting 问题的五种 continual learning methods，并在两个 downstream tasks 中取得可比较或优越的表现。

    May, 2023

  • 基于对比度预训练和微调的小样本意图检测

    本文提出了一种对于细粒度、语义相似的意图进行 Few-shot 检测的方案，使用了对比自监督预训练和有监督对比学习的组合方式，在三种不同的具有挑战性的 Few-shot 意图检测数据集上实验，获得了最先进的表现。

    Sep, 2021

  • Few-shot 意图分类的预训练有效性

    本文研究了少样本意图分类预训练的有效性，发现仅使用公共数据集上的少量标记数据对 BERT 进行微调即可高效地生成一个预训练模型 IntentBERT，其性能超过现有预训练模型，具有高泛化能力。

    Sep, 2021

  • 不要停止预训练？使基于提示的微调更加强大的学习者

    本研究探讨了传统的预训练语言模型在特定任务下加以微调是否能提高性能的假设，并提出了基于提示的持续预训练方法 (PCP)。实验证明，相较于传统方法，PCP 在 21 个基准测试中表现更好。

    May, 2023

  • 用对比提示调整使预训练语言模型成为端到端的小样本学习模型

    CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

    Apr, 2022

  • 面向随时调优的持续预训练语言模型与超网络提示

    通过超网络生成领域特定的提示，以解决一直持续预训练方法在新领域性能下降的问题，并促进跨领域的知识迁移。该方法在两个真实数据集上实现了 3.57% 和 3.4% 的改进，证明其有效性。

    Oct, 2023

  • PPT: 预训练提示调整用于少样本学习

    本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

    Sep, 2021

  • 通过外部引导对预训练语言模型进行噪声抗干扰微调

    使用嘈杂标签，通过引导大型语言模型来提高预训练语言模型（PLM）的微调过程，以区分干净样本和嘈杂样本，并提供嘈杂标签之外的辅助信息，从而增强学习过程。

    Nov, 2023

  • PerPLM：通过特定作家中间学习和提示个性化微调预训练语言模型

    利用个性化中间学习提取作家文本的任务无关特征，通过使用作家特定提示来个性化统一的预训练语言模型，提高文本理解任务的准确性。

    Sep, 2023

  • 让预训练语言模型成为更好的少样本学习者

    LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

    Dec, 2020