本文提出了一种有效的方法，利用标注数据和语言模型（LM）检索 in-context learning 的提示，训练稠密的检索器并在三个序列到序列任务中发现它明显优于之前的工作和多个基线。

Dec, 2021

通过在高质量的真实人类中文对话数据集上对大型语言模型（LLMs）在基于角色的对话生成中的上下文学习能力进行广泛实验，我们的工作填补了上下文学习研究在人类对话生成领域的空白。从实验结果中，我们得出了三个结论：1）调整提示指令是改善生成质量最直接、最有效、最经济的方法；2）随机检索演示（demos）可以取得最好的结果，可能是因为其更大的多样性和有效信息的数量；与查询上下文完全相同的检索演示的表现最差，与直觉相反；3）即使在演示中破坏了多轮关联和单轮语义，增加演示数量仍然可以提高对话性能，证明了 LLMs 可以从损坏的对话演示中进行学习。先前对 ICL 机制的解释，例如 $n$-gram 归纳头，不能完全解释这一现象。

Feb, 2024

本文研究大型语言模型在上文环境学习中如何利用解释，通过研究计算跟踪和语言表达对影响解释的有效性，我们发现两种因素对于解释的有效性都起重要作用，同时提出了一种基于最大边际相关性的样本选择方法，以构建既相关又补充的样本集，成功提高了大型语言模型在多个真实世界任务上的上下文学习性能。

Nov, 2022

本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

Mar, 2023

本文介绍了一种基于大型语言模型的 In-context learning 方法用于文本到 SQL 查询转换中，通过不同的演示选择策略和指令格式来提高 LLMs 性能。实验结果表明，该方法在 Spider 数据集上超出了最先进系统 2.5 个点，超出了最佳微调系统 5.1 个点。

May, 2023

本研究分析显示：大型语言模型不需要准确的演示，而是通过演示提供的标签空间、输入文本的分布和序列的整体格式等方面驱动任务表现的提高。因此，揭示了语境学习的原理和作用方式，同时提出了新的问题，即能否仅仅通过推理来学习大型语言模型的更多内容。

Feb, 2022

本文旨在探讨如何使用主动学习算法作为选择最佳演示文稿的方法来服务于上下文学习，对比了基于不确定性、多样性和相似性等各种标准的演示文稿选择算法，并表明相似性算法胜过其他所有方法，包括随机抽样和不确定性抽样。

May, 2023

通过分析学习基于示例选择方法的工作机制，我们鉴定出与相似度测量相关的两个重要因素：1）在示例和测试用例输入之间整合不同级别的与任务无关的文本相似度能够增强在不同任务中的泛化能力；2）在测量相似度时结合任务特定标签显著提高每个特定任务的性能。基于这些发现，我们提出了两种适应任务无关和任务特定需求的有效简化示例选择方法，消除了昂贵的大型语言模型推理开销。

Jun, 2024

通过对三个文本分类任务的广泛实验，我们发现在选择演示示例时，不仅选择语义上相似的演示示例有益，还选择那些有助于解决测试示例周围固有标签模糊性的演示示例。有趣的是，我们发现包括之前被 LLM 错误分类并且与测试示例的决策边界相近的演示示例能够带来最大的性能提升。

Sep, 2023

通过多维度分析多语言上下文学习对不同模型、任务和语言的效果，发现演示的有效性在各个方面有显著差异，并且发现 Llama 2-Chat、GPT-3.5 和 GPT-4 对演示的质量基本不敏感。相反，精心设计的模板往往完全消除了某些任务和语言的演示效果，这表明可能高估了演示的重要性。我们的工作强调了在多个方面进行细致评估以更好地理解上下文学习的需求。

Feb, 2024