大型语言模型通过上下文学习（ICL）展示出了在各种任务中都具备惊人的能力，本研究探讨了影响 ICL 性能的因素，并提出了一种基于数据和模型的演示选择方法，该方法通过性能与模型对测试样本的理解相关联来进行演示选择，从而在语言理解和生成任务中实现了一致的改进。

Jan, 2024

语言模型特别是预训练大型语言模型，在上下文少例学习方面表现出非凡的能力，能够在输入上下文中仅通过几个示例适应新任务。最近的一个发展是使用对每个输入查询量身定制的示例进行检索，这不仅提高了学习过程的效率和可伸缩性，还能减少手动示例选择中固有的偏差。基于鼓舞人心的结果和对检索式少例学习领域日益增长的研究，我们对该领域的研究进行了广泛的概述回顾，在此调查中，我们讨论并比较了检索模型、检索训练程序和推理算法的不同设计选择。

Jan, 2024

通过分析学习基于示例选择方法的工作机制，我们鉴定出与相似度测量相关的两个重要因素：1）在示例和测试用例输入之间整合不同级别的与任务无关的文本相似度能够增强在不同任务中的泛化能力；2）在测量相似度时结合任务特定标签显著提高每个特定任务的性能。基于这些发现，我们提出了两种适应任务无关和任务特定需求的有效简化示例选择方法，消除了昂贵的大型语言模型推理开销。

Jun, 2024

本研究表明，在语义上相似的演示可以提高大型语言模型的性能，这可以通过呈现一些示范来完成，并且可以有效地对大量语言和任务进行泛化，同时，我们还引入了任务特定的演示检索器，以进一步提高性能。

May, 2023

通过对三个文本分类任务的广泛实验，我们发现在选择演示示例时，不仅选择语义上相似的演示示例有益，还选择那些有助于解决测试示例周围固有标签模糊性的演示示例。有趣的是，我们发现包括之前被 LLM 错误分类并且与测试示例的决策边界相近的演示示例能够带来最大的性能提升。

Sep, 2023

通过使用影响函数分析训练样本的影响力，我们提出了一种名为 InfICL 的演示选择方法，用于选择对 In-Context Learning（ICL）有高影响力的训练样本，从而提高 ICL 的泛化性能，并在多个实际数据集上展示了 InfICL 相对于现有基准方法的优点。

Feb, 2024

基于大规模语言模型的研究表明，通过上下文学习（ICL），在选择示范的少量样例时，可实现强有力的少样本学习能力。然而，ICL 的性能对少样本示范的选择非常敏感，因此选择最适合的上下文示范仍然是一个持续的挑战和一个开放性问题。本研究提出了迭代示范选择（IDS）方法，通过利用零样本思维推理（Zero-shot-CoT），IDS 迭代地选择既具有多样性又与测试样本强相关的示范。通过在示范选择之前对测试样本应用零样本思维推理，IDS 选择思维路径来作为推理的示范，从而生成答案并得到下一次迭代中用于提取新示范的相关推理路径。经过多次迭代后，IDS 采用多数投票的方法获得最终结果。通过在常识推理、问答、主题分类和情感分析等任务上进行了大量实验证明，IDS 能够一直优于现有的 ICL 示范选择方法。

Oct, 2023

ICL 的框架 UniICL 通过一个冻结的 LLM 统一了演示选择、演示压缩和响应生成，并实现了有效的缩放，从 4-shot 到 64-shot 的 ICL 提高了 12 倍。

May, 2024

本文提出了一种新的框架，通过训练密集检索器来识别高质量的上下文示例，进而提高大型语言模型（LLMs）的上下文学习表现。实验证明了该框架可以显著地提高在各种任务上的性能，而且具有良好的泛化能力。

Jul, 2023

我们研究了如何减少示范数量，同时保持竞争性能。我们提出了 SeCoKD，一种自我知识蒸馏训练框架，通过将学生模型与大量提示变体对齐，从而提高单个示范的利用率。结果表明我们的方法在零示范和一示范设置中分别比基准模型和监督微调 (SFT) 的性能高出 30％和 10％。此外，SeCoKD 在新任务评估时几乎没有负面作用，比监督微调更稳健。

Jun, 2024