重排样例有助于基于 Priming 的少样本学习

ACLJun, 2021

重排样例有助于基于 Priming 的少样本学习

Reordering Examples Helps during Priming-based Few-Shot Learning

Sawan Kumar, Partha Talukdar

TL;DR本研究利用输入提示文本来增强 NLP 模型的几发学习能力，并针对使用示例作为提示进一步探究，提出了 PERO 方法，并表明适当排列示例是关键。通过该方法，只需少于十个示例即可实现有效的泛化，且学习到的提示方式能够揭示出对情感分类和自然语言推理具有竞争力的新想法，并能够适用于事实检索任务。

Abstract

The ability to learn from limited data, or few-shot learning, is a desirable and often critical requirement for nlp systems. While many existing methods do poorly at learning from a handful of →

few-shot learning priming-based learning examples generalization nlp systems

发现论文，激发创造

奇妙有序提示的发现之处：克服少样本提示顺序敏感性

通过确定培训示例的排列顺序，本文研究了少样本学习，探究其对预训练语言模型在文本分类任务上的表现，结果发现使用示例的循序排列可以提升 13% 的性能。

Apr, 2021

Few-Shot Bot: 基于提示的对话系统学习

本文探讨了通过基于提示的少样本学习在对话任务中的应用，通过对多种大小的语言模型进行测试，提出一种新的无需微调的提示分类器，并结合技能选择器创建了一种称为 Few-Shot Bot 的端到端聊天机器人，只需使用少量对话示例便可以完成知识检索并生成人类般自然的响应。

Oct, 2021

为少样本示例选择设计信息指标

我们提出了一种基于复杂性的提示选择方法，用于序列标注任务，该方法通过某些度量标准来对齐测试句子和示例的句法语义复杂性，从而提高预训练语言模型的性能。

Mar, 2024

预训练语言模型为什么比零 / 少样本学习者更好？

本文提出了一种理论框架，以解释在零 / 少样本场景下提示学习的功效，我们进一步假设语言差异可以衡量提示的质量，并且通过基于 perplexity 的注释无关模板选择方法，使我们能够提前预测提示性能。

Sep, 2022

大型语言模型的提示式编程：超越少样本范式

使用 GPT-3 模型分析得出少量样例引导更接近于已学习的任务，本文探讨使用自然语言编程来优化引导，提出元引导概念后能够生成更多的任务自然语言引导，展望这些方法如何应用于实践应用。

Feb, 2021

让预训练语言模型成为更好的少样本学习者

LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

Dec, 2020

大语言模型的公平指导少样本提示

本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

Mar, 2023

减少提示和参数：使用语言模型进行简单的小样本学习

使用少量训练示例和任务说明来训练语言模型对于几乎所有任务都很重要，本文提出在极小数据量情境下调整 LM 可显著降低提示工程需求，使用 0.1% 参数更新的 bias terms 可以实现与标准调整相当甚至更好的准确性。

Jun, 2021

语言模型实现真正的小样本学习

评估少量样本学习模型在没有未使用样本的情况下的表现，发现先前的工作对于 LM prompt 和超参数的选择方式大大低估了预训练语言模型在小样本学习方面的能力。

May, 2021

PERFECT：语言模型下基于 Few-shot 的自动学习算法

本研究提出了一种名为 PERFECT 的方法，该方法能够高效地进行少样本学习，无需手动构造提示信息，仅需少量数据即可完成微调，其基于任务适配器和新型多令牌标签嵌入的设计选择，优于现有的先进方法，并且可在多种自然语言处理任务上得到验证。

Apr, 2022