本文提出了一种简单的方法，使用预训练语言模型 (Pretrained language models) 进行全零样本学习 (zero-shot learning) 自然语言理解任务 (NLU tasks)。该方法使用单向和双向 PLMs 生成和训练数据，其中训练数据是使用提示 (prompts) 引导的类别条件文本。使用这种方法，在 GLUE 数据集的七个分类任务中取得了强劲的表现 (例如在 MNLI-m/mm 上的 72.3/73.8，以及在 SST-2 上的 92.8)，相对于零样本提示方法，甚至实现了与使用每类 32 个训练样本的强有力的少样本方法相当的结果。同时，采用了标签平滑和时间模型的融合技术以达到更好的泛化和稳定性。

Feb, 2022

通过利用任务和提示的特征，AdaPrompt使预训练语言模型不断预训练，提高了NLP方面几个基准测试中的表现，在零样本情况下相对误差降低了高达26.35％。

Feb, 2022

本文探讨了如何利用未标记的数据以提高自然语言处理任务的零样本性能，并通过规范提示一致性来鼓励模型的一致预测，并取得了实验结果上的进展和成果。

Apr, 2022

本文提出了一种理论框架，以解释在零/少样本场景下提示学习的功效，我们进一步假设语言差异可以衡量提示的质量，并且通过基于perplexity的注释无关模板选择方法，使我们能够提前预测提示性能。

Sep, 2022

本研究探讨了在语言模型提示方法中继续预训练阶段是否能够提高零-shot以及少量样本情况下语言模型的性能，并通过大规模实验表明使用多任务学习的实时递归预训练策略可将零-shot及几轮试验下的效果提高至31%相对性能，然而使用元学习方法的继续预训练阶段的性能不佳。我们提出了针对不同应用的具体推荐，以优化语言模型的性能。

Oct, 2022

本文提出了一种基于预训练语言模型的无参考学习方法NPPrompt，能够有效扩展一个预训练模型到多个语言理解任务，且不需要标注数据或附加未标注语料库进行微调。实验结果表明，NPPrompt 在文本分类和 GLUE 基准测试等任务中具有比以前最好的全零样本方法更高的绝对增益。

Dec, 2022

本研究提出了一种基于一致性的自适应提示设计方法，可以从大型语言模型的零样本输出中选择和构建示例，进而显著提高了零样本情况下三种不同大型语言模型的推理任务的性能。

May, 2023

通过最全面的实证研究，发现在自然语言理解任务中，提示位置对模型性能有很大的影响，提示模板的优化是一个有趣的研究方向。

May, 2023

本文提出了Self-ICL，一种基于零-shot学习的简单框架，用于优化大型语言模型的内在能力，并创造了虚拟演示的概念以有效地进行ICL。通过在BIG-Bench Hard上进行的评估，该方法能够显着提高模型的性能。

May, 2023

该论文综述了大型语言模型在自然语言处理任务中的重要性，并聚焦于不同类型的提示（如离散、连续、少样本和零样本）及其对模型性能的影响。论文探讨了手动设计、优化算法和评估方法等多种提示设计方法，以优化模型在不同任务中的性能。此外，论文还讨论了评估提示性能所面临的挑战，并指出了提示设计在充分利用大型语言模型的潜力中的关键作用，为在自然语言处理任务中更有效、更高效地使用大型语言模型提供了启示。

Sep, 2023