大型语言模型通过它们的上下文学习能力能够只使用几个示例来解决各种任务。然而，LLMs 通常依赖于它们预先训练的演示案例的语义先验知识而不是依靠输入 - 标签关系来进行上下文学习预测。本研究有意解决这个现象，引入了一种称为 “演示捷径” 的现象。通过介绍一种演示感知的校准方法 ——In-Context Calibration，我们旨在使 LLM 能够有效地从示例中学习新的输入 - 标签关系。我们在两个场景下评估了所提出方法的有效性：（1）使用标准标签空间的原始上下文学习任务和（2）任务学习设置，其中标签空间由语义上不相关的令牌替代。在这两个场景中，In-Context Calibration 表现出显著的改进效果，并在多个 LLM 家族（OPT，GPT 和 Llama2）的各种配置下推广得到了结果。

Mar, 2024

本研究表明，在语义上相似的演示可以提高大型语言模型的性能，这可以通过呈现一些示范来完成，并且可以有效地对大量语言和任务进行泛化，同时，我们还引入了任务特定的演示检索器，以进一步提高性能。

May, 2023

本文研究了使用演示数据对大型语言模型（LLMs）进行上下文学习（ICL）的安全问题，并通过 TextAttack 提出了一种只操纵演示而不改变输入的 ICL 攻击方法，结果表明，随着演示数量的增加，ICL 的鲁棒性会降低，并呼吁对 ICL 的鲁棒性进行广泛研究，特别是在 LLMs 的发展中。

May, 2023

在这篇论文中，我们首次从演示增强的角度来解决上下文学习的挑战，通过丰富演示的表示以及集成特定的统计特性，我们提出了一种简单但高效的方法，显著提高了各种预训练语言模型和任务的平均和最坏情况准确性，并有效减少了不同演示、排列和模板之间的性能差异，并且具备处理不平衡类别分布的能力。

Jun, 2024

通过动态调整演示数量，我们提出了一个动态演示控制器（D$^2$Controller），该控制器可以提高在十个数据集上的八种不同尺寸的大型语言模型（LLM）上的 In-Context Learning（ICL）性能，并在之前的 ICL 模型上取得了竞争性的结果。

Sep, 2023

本文提出了 Self-ICL，一种基于零 - shot 学习的简单框架，用于优化大型语言模型的内在能力，并创造了虚拟演示的概念以有效地进行 ICL。通过在 BIG-Bench Hard 上进行的评估，该方法能够显着提高模型的性能。

May, 2023

语言模型特别是预训练大型语言模型，在上下文少例学习方面表现出非凡的能力，能够在输入上下文中仅通过几个示例适应新任务。最近的一个发展是使用对每个输入查询量身定制的示例进行检索，这不仅提高了学习过程的效率和可伸缩性，还能减少手动示例选择中固有的偏差。基于鼓舞人心的结果和对检索式少例学习领域日益增长的研究，我们对该领域的研究进行了广泛的概述回顾，在此调查中，我们讨论并比较了检索模型、检索训练程序和推理算法的不同设计选择。

Jan, 2024

我们提出了一种名为 Demonstration Augmentation for In-context Learning (DAIL) 的方法，通过利用模型之前预测的历史样本作为后续样本的演示，来解决大型语言模型在零 - shot 学习中依赖外部信息并且生成过程耗时的问题，同时在没有任何外部信息的情况下，DAIL 不增加推理成本可以显著提高模型的性能。

Jun, 2024

该文研究了大型语言模型在上下文学习中的效应，探讨了不同的标签策略对目标任务结果的影响，并提出了一种新颖的标签方法 —— 增量效用，实验证明该方法有效地提升了大型语言模型的性能。

Nov, 2023

该研究从一种新的视角探索了 In-Context Learning (ICL) 机制，通过构建 Comparable Demonstrations (CDs) 来减少演示偏差，从而提供了对 ICL 演示选择策略的更深入理解。

Dec, 2023