利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

Sep, 2023

通过优化问题，研究通过预训练语言模型的上下文学习中的示例排序，以提高文本分类的准确性和选择更好的上下文示例。

Feb, 2024

本文概述了大型语言模型的新范式 —— 上下文学习，并探讨了训练策略和演示设计策略等高级技术，以及上下文学习所面临的挑战和未来方向。

Dec, 2022

本文提出 DynaICL，基于黑盒通用模型的高效提示配方。通过动态分配示例来平衡性能和效率。实验结果表明 DynaICL 在计算资源或所需性能受限时可以实现更好的性能和效率权衡。

May, 2023

通过并行处理不同批次的样本，依据语义相似性在上下文学习中同时使用所有示范样本，并通过加权平均语义目标选择最合适的标记，从而提高 ICL 的有效性。

Mar, 2024

通过提出 AdaICL 算法，本研究在大型语言模型中探索了一种基于主动学习的方法，通过优化自适应的示例选择策略，提高了性能和预算效率。

Oct, 2023

通过分析 In-Context Alignment（ICA）的机制和适用性，本研究发现示例部分对提升模型对齐能力至关重要，同时还评估了 ICA 在不同对齐任务中的零 - shot 能力，结果显示相较于参数微调方法，ICA 在基于知识和工具应用任务上表现出更好的性能，然而在多轮对话和按指示执行任务方面仍存在某些局限性。

Jun, 2024

当模型的上下文长度不断增加时，可以提供的演示数量接近整个训练数据集的规模。在多个数据集和模型上，我们研究了在这种极端规模下的上下文学习（ICL）的行为。我们展示了对于许多具有大型标签空间的数据集，性能在数百或数千个演示中仍在增加。与示例检索和微调相比，示例检索在较短的上下文长度下表现出色，但随着更多的演示，增益减弱；微调比 ICL 更依赖数据，但有时可以通过额外数据超过长上下文 ICL 的性能。我们在 ICL 设置中使用这个作为试验平台来研究上下文学习和长上下文模型的几个特性。我们展示了长上下文 ICL 比短上下文 ICL 对于随机输入乱序不太敏感，相同标签示例的分组可能对性能产生负面影响，并且我们观察到的性能提升并非来自一起编码多个示例的累积增益。我们得出结论，尽管长上下文 ICL 可能出人意料地有效，但其中大部分增益来自于重新关注类似示例而非任务学习。

Apr, 2024

本文通过使用 in-context 影响性分析 few-shot in-context learning 性能，提出了基于影响的示例选择方法，该方法在 10 个 SuperGlue 任务上优于大多数基线，并且随着 k-shot 的增加而稳定扩展。分析发现最积极和最消极的示例之间的性能差距高达 22.2％。在案例研究中，我们应用影响力框架来量化 few-shot in-context learning 中的近期偏差现象。

Feb, 2023

该研究通过实验测量了几种不同的文本生成任务原始模型的表现，对比分析了几种参数有效的适应方法（如提示调整、上下文学习和指导性提示调整），并通过 IPT 探究了这些方法之间的交互作用和优缺点。

Feb, 2023