谨慎的数据筛选稳定上下文学习

Dec, 2022

Careful Data Curation Stabilizes In-context Learning

Ting-Yun Chang, Robin Jia

TL;DR本文提出两种方法优化 ICL 在训练过程中因训练样本选择不当而导致的性能不稳定问题：CondAcc 和 Datamodels。这两种方法均通过对训练样本进行评分，然后选择得分最高的样本作为训练子集。在五个任务和两个 LLMs 上进行的实验中，CondAcc 和 Datamodels 的性能分别比从整个训练集中随机抽样高出 7.7％和 6.3％。分析表明，选出的稳定子集样本与平均样本的差异不大，并不是序列长度和 perplexity 的异常值。

Abstract

in-context learning (ICL) enables large language models (LLMs) to perform new tasks by prompting them with a sequence of training examples. However, ICL is very sensitive to the choice of training examples: rando

in-context learning large language models training data curating performance

发现论文，激发创造

由标签分布指导的上下文示例排序

通过优化问题，研究通过预训练语言模型的上下文学习中的示例排序，以提高文本分类的准确性和选择更好的上下文示例。

Feb, 2024

选择哪些示例进行上下文学习？实现有效和高效的选择

通过提出 AdaICL 算法，本研究在大型语言模型中探索了一种基于主动学习的方法，通过优化自适应的示例选择策略，提高了性能和预算效率。

Oct, 2023

一刀切” 不适用于所有情况：学习在语境中使用多少样本以提高文本分类效果

在这篇论文中，研究人员提出了一种新的自适应上下文学习 (AICL) 方法，通过预测分类器的 Softmax 后验概率来动态调整在推断中使用的示例数，以提高文本分类任务的性能。

Mar, 2024

面向情境学习的信息丰富的少样本提示与最大信息增益

本文研究了大型语言模型 (Large Language Models, LLMs) 在上下文学习 (In-context Learning, ICL) 方面的能力和稳定性问题，并提出了通过量化数据示例的信息增益 (Information Gain, IG) 来选择具有最大信息增益的样本的方法，同时引入了模板偏差 (template bias) 的校准策略，实验证明该方法能够显著提升三种 LLMs 在六个分类任务上的性能。

Oct, 2023

博士 ICL: 演示检索上下文学习

本研究表明，在语义上相似的演示可以提高大型语言模型的性能，这可以通过呈现一些示范来完成，并且可以有效地对大量语言和任务进行泛化，同时，我们还引入了任务特定的演示检索器，以进一步提高性能。

May, 2023

基于检索演示的语言模型的上下文学习：一项调查

语言模型特别是预训练大型语言模型，在上下文少例学习方面表现出非凡的能力，能够在输入上下文中仅通过几个示例适应新任务。最近的一个发展是使用对每个输入查询量身定制的示例进行检索，这不仅提高了学习过程的效率和可伸缩性，还能减少手动示例选择中固有的偏差。基于鼓舞人心的结果和对检索式少例学习领域日益增长的研究，我们对该领域的研究进行了广泛的概述回顾，在此调查中，我们讨论并比较了检索模型、检索训练程序和推理算法的不同设计选择。

Jan, 2024

基于覆盖率的上下文学习示例选择

该研究提出了一种基于覆盖测试输入相关重要方面的信息量评估框架，使用 Set-BSR 来找出信息最丰富的示范集，应用于复杂构成生成任务和多元语言模型中，得出与任务或模型特异性培训相比效果最佳的结果。

May, 2023

多标签文本分类的上下文学习

利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

Sep, 2023

通过影响分析的上下文学习示范选择

通过使用影响函数分析训练样本的影响力，我们提出了一种名为 InfICL 的演示选择方法，用于选择对 In-Context Learning（ICL）有高影响力的训练样本，从而提高 ICL 的泛化性能，并在多个实际数据集上展示了 InfICL 相对于现有基准方法的优点。

Feb, 2024

上下文学习的组合范例

本文提出了 CEIL 算法以及其应用在 NLP 中，其将 in-context example selection 视为子集选择问题，并通过 Contrastive Learning Objective 进行优化，用于在 12 个分类和生成数据集上验证其性能。CEIL 展示了最先进的性能以及可传输性和组合性，并在 “In-Context Learning” 领域中开辟了新途径。

Feb, 2023