通过对三个文本分类任务的广泛实验，我们发现在选择演示示例时，不仅选择语义上相似的演示示例有益，还选择那些有助于解决测试示例周围固有标签模糊性的演示示例。有趣的是，我们发现包括之前被 LLM 错误分类并且与测试示例的决策边界相近的演示示例能够带来最大的性能提升。

Sep, 2023

利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

Sep, 2023

本研究表明，在语义上相似的演示可以提高大型语言模型的性能，这可以通过呈现一些示范来完成，并且可以有效地对大量语言和任务进行泛化，同时，我们还引入了任务特定的演示检索器，以进一步提高性能。

May, 2023

该研究从一种新的视角探索了 In-Context Learning (ICL) 机制，通过构建 Comparable Demonstrations (CDs) 来减少演示偏差，从而提供了对 ICL 演示选择策略的更深入理解。

Dec, 2023

通过实证研究，我们在文中将 ICL 的整体表现分解为三个方面，即标签空间、格式和区分能力，并评估四种通用语言模型在各种任务中的性能。结果显示，虽然示范对于激发语言模型的区分知识的影响较小，但 ICL 对于调节标签空间和格式的表现具有显著效果，并能帮助语言模型按照期望的标签进行响应。此外，我们通过对检索机制的深入分析发现，检索最语义相似的示例明显提升了模型的区分能力。

Apr, 2024

通过使用影响函数分析训练样本的影响力，我们提出了一种名为 InfICL 的演示选择方法，用于选择对 In-Context Learning（ICL）有高影响力的训练样本，从而提高 ICL 的泛化性能，并在多个实际数据集上展示了 InfICL 相对于现有基准方法的优点。

Feb, 2024

通过并行处理不同批次的样本，依据语义相似性在上下文学习中同时使用所有示范样本，并通过加权平均语义目标选择最合适的标记，从而提高 ICL 的有效性。

Mar, 2024

大型语言模型（LLMs）在上下文学习（ICL）方面展示了显着的能力，在没有明确预训练的情况下，仅通过少量的训练示例学习新任务。然而，尽管 LLMs 获得了成功，对于 ICL 如何从给定的提示中学习知识却知之甚少。在本文中，为了对 ICL 的学习行为有所了解，我们通过 ICL 和监督学习 (SL) 分别使用相同的演示示例训练相同的 LLMs，并研究它们在一系列分类任务中在标签扰动（即嘈杂标签和标签不平衡）下的表现。通过广泛的实验证明，我们首先发现黄金标签对下游上下文性能有显著影响，尤其是对于大型语言模型；然而，对于所有模型大小，不平衡标签对 ICL 的影响较小。其次，通过与 SL 进行比较，我们实证表明 ICL 对标签扰动的敏感性较低，并且随着模型大小的增加，ICL 逐渐获得与 SL 相当的性能。

Jul, 2023

该文研究了大型语言模型在上下文学习中的效应，探讨了不同的标签策略对目标任务结果的影响，并提出了一种新颖的标签方法 —— 增量效用，实验证明该方法有效地提升了大型语言模型的性能。

Nov, 2023

演示排序是上下文学习中的重要策略，对大型语言模型的性能有显著影响。我们提出了少样本上下文课程学习（ICCL），一种简单但有效的演示排序方法，其在推理过程中逐渐增加提示演示的复杂性。通过设计三个实验来探讨 ICCL 的有效性、LLM 的 ICCL 能力形成机制以及排序主题的影响，实验结果表明，ICCL 在指导调整阶段对开源 LLM 有效。此外，与人类相比，LLM 对演示的难度层次辨别能力较弱。我们在此 https URL 上发布了我们的代码。

Feb, 2024