本文研究了将 GPT-3 等大型语言模型与说明相结合是否能够提高上下文学习效果，发现对于涉及文本推理的自然语言推理和问答任务，使用不同样式的说明对 OPT、GPT-3（davinci）和 InstructGPT（text-davinci-001）等四个 LLM 的性能仅会带来小至中等的准确性提高，而 text-davinci-002 能够带来更实质性的提高，并且 LLM 产生的说明可能不支持、甚至与模型预测不一致，但这些说明仍有助于验证模型的预测，在此观察基础上，文章通过训练校准器使用自动提取的评分评估说明的可靠性，从而在全部数据集上实现后处理性能的提高。
May, 2022
本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。
Mar, 2023
本文研究大型语言模型在上文环境学习中如何利用解释，通过研究计算跟踪和语言表达对影响解释的有效性，我们发现两种因素对于解释的有效性都起重要作用，同时提出了一种基于最大边际相关性的样本选择方法，以构建既相关又补充的样本集，成功提高了大型语言模型在多个真实世界任务上的上下文学习性能。
Nov, 2022
通过对 40 个具有挑战性的任务提出带有答案解释的问题及各种匹配控制解释，我们发现解释可以提高大型语言模型在具有挑战性的任务上的零次和少量样本的表现，并且仅大型模型有益处。
Apr, 2022
本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。
本文提出了一种有效的方法，利用标注数据和语言模型（LM）检索 in-context learning 的提示，训练稠密的检索器并在三个序列到序列任务中发现它明显优于之前的工作和多个基线。
Dec, 2021
使用新颖的 “演示笔记本” 对象，通过从语言模型过去的交互中收集和重复使用信息来选择问题的适当示例，从而实现了自动演示构建和选择的方法，并在多个推理基准上取得了最先进的结果。同时，通过对演示的严格分析方法，揭示了不同问题类型之间演示的相关性，为问题的推理解决提供了有价值的见解。
Jun, 2024
通过自解释提示策略来增强大语言模型在多轮对话中的理解能力，实验证实该方法在多个基准数据集上持续优于其他零样本提示，并达到或超过少样本提示的效果，证明其在提升大语言模型在复杂对话任务中的理解能力方面具有潜力。
Sep, 2023
本文提出了一种新的提示策略，通过使用带有反馈的演示示例来提高大型语言模型（LLM）的上下文学习性能，该策略在三个多跨度问题回答数据集以及一个关键字提取数据集上进行实验证明了其一致的性能提高。
Jun, 2023
这篇论文研究了解释数据对于模型效能的影响，利用回收法证明了推理为主的文本输入任务中，解释数据可用作模型输入，且采用检索式的建模方法可以使合成任务的准确率达到 95%，而无解释数据的基线准确率低于 65%。
Feb, 2021