让预训练语言模型成为更好的少样本学习者

ACLDec, 2020

让预训练语言模型成为更好的少样本学习者

Making Pre-trained Language Models Better Few-shot Learners

Tianyu Gao, Adam Fisch, Danqi Chen

TL;DRLM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

Abstract

The recent GPT-3 model (Brown et al., 2020) achieves remarkable few-shot performance solely by leveraging a natural-language prompt and a few task demonstrations as input context. Inspired by their findings, we study few-shot learning in a more practical scenario, where we use smaller

few-shot learning language models fine-tuning nlp tasks performance

发现论文，激发创造

语言模型是少样本学习器

在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

May, 2020

Few-Shot Bot: 基于提示的对话系统学习

本文探讨了通过基于提示的少样本学习在对话任务中的应用，通过对多种大小的语言模型进行测试，提出一种新的无需微调的提示分类器，并结合技能选择器创建了一种称为 Few-Shot Bot 的端到端聊天机器人，只需使用少量对话示例便可以完成知识检索并生成人类般自然的响应。

Oct, 2021

减少提示和参数：使用语言模型进行简单的小样本学习

使用少量训练示例和任务说明来训练语言模型对于几乎所有任务都很重要，本文提出在极小数据量情境下调整 LM 可显著降低提示工程需求，使用 0.1% 参数更新的 bias terms 可以实现与标准调整相当甚至更好的准确性。

Jun, 2021

语言模型实现真正的小样本学习

评估少量样本学习模型在没有未使用样本的情况下的表现，发现先前的工作对于 LM prompt 和超参数的选择方式大大低估了预训练语言模型在小样本学习方面的能力。

May, 2021

多语言语言模型的少样本学习

本文研究了大规模生成语言模型在多语言语料库上的跨语言泛化能力，实验结果表明，通过多语言提示方案，在许多任务中，模型可以在少量示例和无样本学习中完成良好的表现。

Dec, 2021

少样本跨模态多任务多语种学习

本文提出了一种用于多模态多任务学习的 few-shot 学习框架，采用预训练的视觉和语言模型，并通过任务特定的超网络和对比度微调来适应不同的场景，学习视觉推理、视觉问答和自然语言理解等重要任务。

Feb, 2023

使用指令微调语言模型的自动化少样本分类

通过使用指导微调的语言模型，构建了一个用于 few-shot 学习的方法，名为 AuT-Few，该方法可以自动选择适合的任务指令，并实现了较强的 prompt 稳健性和良好的分类性能。

May, 2023

重新审视自训练用于语言模型的小样本学习

本研究介绍了一种最先进的基于提示的少样本学习器 ——SFLM，该模型使用自训练技术来对语言模型进行微调，仅依赖于少量未标记的领域内数据，并在句子分类和句子对分类基准任务上优于其他最先进的监督和半监督对手。

Oct, 2021

基于大型语言模型的高效少样本临床任务适应

通过部分冻结的简单微调变体和上下文化标签，提出了一种在有限样本大小下超越传统微调方法的方法，从而显著提高了医学图像的语义嵌入区分度，使得在 1-shot 设置下与常用的 one-hot 标签和其他语义监督方法相比性能提高了 3%-5%。

Dec, 2023

预训练语言模型为什么比零 / 少样本学习者更好？

本文提出了一种理论框架，以解释在零 / 少样本场景下提示学习的功效，我们进一步假设语言差异可以衡量提示的质量，并且通过基于 perplexity 的注释无关模板选择方法，使我们能够提前预测提示性能。

Sep, 2022