Few-shot和Zero-shot NLU任务中Prompt位置真的很重要
使用少量训练示例和任务说明来训练语言模型对于几乎所有任务都很重要，本文提出在极小数据量情境下调整 LM 可显著降低提示工程需求，使用 0.1% 参数更新的 bias terms 可以实现与标准调整相当甚至更好的准确性。
Jun, 2021
本研究证实了即使是故意无关或甚至有误导性的提示，也可以让一些零样本或少样本学习模型像“好”的提示一样快地进行学习，这一模式适用于模型尺寸大小，这引出一个问题，问这种改进是不是源于模型像人类一样理解掌握任务提示。
Sep, 2021
本文研究大型语言模型如何通过自然语言提示实现令人印象深刻的零-shot性能，归纳和标准化提示任务属性后，发现包含选项和使用未在预训练中使用的提示可以显著提高性能。
Mar, 2022
该论文研究了少样本提示模型是否也利用了表象线索，发现在 MNLI、SNLI、HANS 和 COPA 数据集上，尽管模型在表象线索实例上表现良好，但在没有表象线索的实例上的性能往往低于或仅略优于随机准确度。
May, 2022
本文提出了一种理论框架，以解释在零/少样本场景下提示学习的功效，我们进一步假设语言差异可以衡量提示的质量，并且通过基于perplexity的注释无关模板选择方法，使我们能够提前预测提示性能。
Sep, 2022
本研究探讨了在语言模型提示方法中继续预训练阶段是否能够提高零-shot以及少量样本情况下语言模型的性能，并通过大规模实验表明使用多任务学习的实时递归预训练策略可将零-shot及几轮试验下的效果提高至31%相对性能，然而使用元学习方法的继续预训练阶段的性能不佳。我们提出了针对不同应用的具体推荐，以优化语言模型的性能。
Oct, 2022
通过研究，我们提出了一种自适应提示设计方法，能够使用只有少量未标记的数据和仅推理的LLM实现广泛的零-shot学习，该方法通过将NLP任务分类为三种类型，并使用相应的选择器选择最合适的查询和零-shot模型生成的响应作为伪证明，以完全自动化的方式将ICL推广到零-shot设置，从而呈现与少量-shot基线可比甚至优于的表现。
May, 2023
该论文综述了大型语言模型在自然语言处理任务中的重要性，并聚焦于不同类型的提示（如离散、连续、少样本和零样本）及其对模型性能的影响。论文探讨了手动设计、优化算法和评估方法等多种提示设计方法，以优化模型在不同任务中的性能。此外，论文还讨论了评估提示性能所面临的挑战，并指出了提示设计在充分利用大型语言模型的潜力中的关键作用，为在自然语言处理任务中更有效、更高效地使用大型语言模型提供了启示。
Sep, 2023
本综述论文通过提供近期进展的结构化概述，对提示工程的不同方法和技术进行分类，详细介绍了提示方法学、应用领域、所使用的模型和数据集，并探讨了每种方法的优点、局限性以及通过分类图和表格总结了数据集、模型和关键点，从而更好地理解这一快速发展领域并为提示工程的未来研究提供洞察、揭示了开放性挑战和机遇。
Feb, 2024