PERFECT：语言模型下基于 Few-shot 的自动学习算法

ACLApr, 2022

PERFECT：语言模型下基于 Few-shot 的自动学习算法

PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models

Rabeeh Karimi Mahabadi, Luke Zettlemoyer, James Henderson, Marzieh Saeidi, Lambert Mathias...

TL;DR本研究提出了一种名为 PERFECT 的方法，该方法能够高效地进行少样本学习，无需手动构造提示信息，仅需少量数据即可完成微调，其基于任务适配器和新型多令牌标签嵌入的设计选择，优于现有的先进方法，并且可在多种自然语言处理任务上得到验证。

Abstract

Current methods for few-shot fine-tuning of pretrained masked language models (PLMs) require carefully engineered prompts and verbalizers for each new task to convert examples into a cloze-format that the PLM can

few-shot learning masked language models fine-tuning adapters label embeddings

发现论文，激发创造

用对比提示调整使预训练语言模型成为端到端的小样本学习模型

CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

Apr, 2022

让预训练语言模型成为更好的少样本学习者

LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

Dec, 2020

减少提示和参数：使用语言模型进行简单的小样本学习

使用少量训练示例和任务说明来训练语言模型对于几乎所有任务都很重要，本文提出在极小数据量情境下调整 LM 可显著降低提示工程需求，使用 0.1% 参数更新的 bias terms 可以实现与标准调整相当甚至更好的准确性。

Jun, 2021

PerPLM：通过特定作家中间学习和提示个性化微调预训练语言模型

利用个性化中间学习提取作家文本的任务无关特征，通过使用作家特定提示来个性化统一的预训练语言模型，提高文本理解任务的准确性。

Sep, 2023

预训练语言模型可完全零样本学习

本文提出了一种基于预训练语言模型的无参考学习方法 NPPrompt，能够有效扩展一个预训练模型到多个语言理解任务，且不需要标注数据或附加未标注语料库进行微调。实验结果表明，NPPrompt 在文本分类和 GLUE 基准测试等任务中具有比以前最好的全零样本方法更高的绝对增益。

Dec, 2022

SPARSEFIT：稀疏微调的少样本提示，用于联合生成预测和自然语言解释

本文提出一种名为 SparseFit 的算法，使用离散提示在几个可用的 NLEs 的情况下，只微调神经模型的 6.8％参数即可同时生成预测结果和高质量 NLEs，可取得与精细调整昂贵的 Pre-trained Language Models 相当的效果。

May, 2023

低资源语言中大型语言模型的少样本跨语言迁移

将 LLaMa 适应于 Kinyarwanda、Hausa 和 Luganda 等低资源语言的提示设置是一种计算高效且成本效益的方法，优于翻译和 LAFT，并在所有任务和语言上表现最佳。

Mar, 2024

良好的提示价值数百万个参数：面向低资源的基于提示的视觉语言模型学习

本论文研究了基于 prompt 的低资源视觉语言（VL）任务 few-shot 学习。对大规模预训练的 VL 模型进行了实验，证明 FewVLM 在 VQA 任务上的效果优于 Frozen，而且能够达到比更大的模型 PICa 相当的结果。

Oct, 2021

使用冻结语言模型的临床提示学习

研究了 prompt learning 对临床应用决策任务的可行性，并与传统的微调方法进行了直接比较。结果部分符合 prompt learning 文献，提示学习能够在可训练参数更少和需要更少的训练数据的情况下与传统微调相匹配或改进，可以作为一种可替代越来越大的预训练语言模型微调的较低计算资源成本，适用于临床环境。

May, 2022

探索基于提示学习范式的小型语言模型用于高效的领域特定文本分类

在本研究中，我们调查了小语言模型（具有不到 10 亿参数）与 prompt-learning 范例相结合，在零样本和少样本场景下针对零售业中客户 - 代理商互动的领域特定文本分类的潜力。我们的评估结果显示，在少样本设置下进行基于提示的模型微调时，220M 参数的典型小语言模型 T5-base 可以在有限的标记数据（高达全数据的 15%）上实现约 75% 的准确性，显示了小语言模型与 prompt-learning 的巨大潜力。基于此，我们进一步验证了主动少样本抽样和 prompt-learning 流程中的集成策略对显著性能提升的有效性。此外，在固定模型的零样本设置中，我们强调了一个关键的观察结果，即尽管具有约 1540B 参数的 GPT-3.5-turbo 可以达到 55.16% 的准确性，但当仅有 0.5% 参数的 FLAN-T5-large 使用经过优化的提示时，其准确性超过 31%，相比使用未经优化提示的准确性提升了近 13%。我们的发现强调了使用小语言模型进行 prompt-learning 的分类任务中的潜力，强调了主动少样本抽样和集成策略在少样本设置中的好处，并强调了零样本设置中提示工程的重要性。

Sep, 2023