ICL 的框架 UniICL 通过一个冻结的 LLM 统一了演示选择、演示压缩和响应生成，并实现了有效的缩放，从 4-shot 到 64-shot 的 ICL 提高了 12 倍。
May, 2024
在这篇论文中，我们首次从演示增强的角度来解决上下文学习的挑战，通过丰富演示的表示以及集成特定的统计特性，我们提出了一种简单但高效的方法，显著提高了各种预训练语言模型和任务的平均和最坏情况准确性，并有效减少了不同演示、排列和模板之间的性能差异，并且具备处理不平衡类别分布的能力。
Jun, 2024
本研究提出了一种有效的、高效的两阶段方法来增强大型语言模型中的上下文学习，该方法利用 Transformer 注意力和梯度下降优化之间的双重形式，将上下文学习过程分为 'Thinking' 和推理阶段，通过递归前向优化演示来增强 LLLs 的推理能力，并且将得到的元梯度通过注意力应用于最终的输出预测中，从而有效地、高效地适应下游任务。
May, 2023
通过并行处理不同批次的样本，依据语义相似性在上下文学习中同时使用所有示范样本，并通过加权平均语义目标选择最合适的标记，从而提高 ICL 的有效性。
Mar, 2024
本研究表明，在语义上相似的演示可以提高大型语言模型的性能，这可以通过呈现一些示范来完成，并且可以有效地对大量语言和任务进行泛化，同时，我们还引入了任务特定的演示检索器，以进一步提高性能。
通过使用影响函数分析训练样本的影响力，我们提出了一种名为 InfICL 的演示选择方法，用于选择对 In-Context Learning（ICL）有高影响力的训练样本，从而提高 ICL 的泛化性能，并在多个实际数据集上展示了 InfICL 相对于现有基准方法的优点。
Feb, 2024
本文提出了 CEIL 算法以及其应用在 NLP 中，其将 in-context example selection 视为子集选择问题，并通过 Contrastive Learning Objective 进行优化，用于在 12 个分类和生成数据集上验证其性能。CEIL 展示了最先进的性能以及可传输性和组合性，并在 “In-Context Learning” 领域中开辟了新途径。
Feb, 2023
大型语言模型通过上下文学习（ICL）展示出了在各种任务中都具备惊人的能力，本研究探讨了影响 ICL 性能的因素，并提出了一种基于数据和模型的演示选择方法，该方法通过性能与模型对测试样本的理解相关联来进行演示选择，从而在语言理解和生成任务中实现了一致的改进。
Jan, 2024
DEEP-ICL 是一种新颖的任务定义增强的专家集成学习方法，通过从给定的演示中显式地提取任务定义并通过学习任务特定的示例生成回答，它旨在实现高效的少样本学习，超越传统的上下文学习方法。
使用掩码自预测分数，对掩码预训练的大型语言模型进行上下文学习（In-Context Learning），并通过优化示例权重以及应用于不同模型位置的两种策略，在 8 个文本分类任务中显著优于常规的上下文学习方法。
Oct, 2023