不是所有演示例子一样有益：重新加权演示例子进行上下文学习
通过使用影响函数分析训练样本的影响力，我们提出了一种名为 InfICL 的演示选择方法，用于选择对 In-Context Learning（ICL）有高影响力的训练样本，从而提高 ICL 的泛化性能，并在多个实际数据集上展示了 InfICL 相对于现有基准方法的优点。
Feb, 2024
该文研究了大型语言模型在上下文学习中的效应，探讨了不同的标签策略对目标任务结果的影响，并提出了一种新颖的标签方法 —— 增量效用，实验证明该方法有效地提升了大型语言模型的性能。
Nov, 2023
通过分析学习基于示例选择方法的工作机制，我们鉴定出与相似度测量相关的两个重要因素：1）在示例和测试用例输入之间整合不同级别的与任务无关的文本相似度能够增强在不同任务中的泛化能力；2）在测量相似度时结合任务特定标签显著提高每个特定任务的性能。基于这些发现，我们提出了两种适应任务无关和任务特定需求的有效简化示例选择方法，消除了昂贵的大型语言模型推理开销。
Jun, 2024
本研究表明，在语义上相似的演示可以提高大型语言模型的性能，这可以通过呈现一些示范来完成，并且可以有效地对大量语言和任务进行泛化，同时，我们还引入了任务特定的演示检索器，以进一步提高性能。
May, 2023
大型语言模型通过上下文学习（ICL）展示出了在各种任务中都具备惊人的能力，本研究探讨了影响 ICL 性能的因素，并提出了一种基于数据和模型的演示选择方法，该方法通过性能与模型对测试样本的理解相关联来进行演示选择，从而在语言理解和生成任务中实现了一致的改进。
Jan, 2024
通过并行处理不同批次的样本，依据语义相似性在上下文学习中同时使用所有示范样本，并通过加权平均语义目标选择最合适的标记，从而提高 ICL 的有效性。
Mar, 2024
本研究提出了一种有效的、高效的两阶段方法来增强大型语言模型中的上下文学习，该方法利用 Transformer 注意力和梯度下降优化之间的双重形式，将上下文学习过程分为 'Thinking' 和推理阶段，通过递归前向优化演示来增强 LLLs 的推理能力，并且将得到的元梯度通过注意力应用于最终的输出预测中，从而有效地、高效地适应下游任务。
May, 2023
大型语言模型通过它们的上下文学习能力能够只使用几个示例来解决各种任务。然而，LLMs 通常依赖于它们预先训练的演示案例的语义先验知识而不是依靠输入 - 标签关系来进行上下文学习预测。本研究有意解决这个现象，引入了一种称为 “演示捷径” 的现象。通过介绍一种演示感知的校准方法 ——In-Context Calibration，我们旨在使 LLM 能够有效地从示例中学习新的输入 - 标签关系。我们在两个场景下评估了所提出方法的有效性：（1）使用标准标签空间的原始上下文学习任务和（2）任务学习设置，其中标签空间由语义上不相关的令牌替代。在这两个场景中，In-Context Calibration 表现出显著的改进效果，并在多个 LLM 家族（OPT，GPT 和 Llama2）的各种配置下推广得到了结果。
Mar, 2024
在这篇论文中，我们首次从演示增强的角度来解决上下文学习的挑战，通过丰富演示的表示以及集成特定的统计特性，我们提出了一种简单但高效的方法，显著提高了各种预训练语言模型和任务的平均和最坏情况准确性，并有效减少了不同演示、排列和模板之间的性能差异，并且具备处理不平衡类别分布的能力。
Jun, 2024