一个人跳探戈容易，多人后来者居上吗？不同演示数量下的上下文训练

Mar, 2023

一个人跳探戈容易，多人后来者居上吗？不同演示数量下的上下文训练

It Takes One to Tango but More Make Trouble? In-Context Training with Different Number of Demonstrations

Jiuhai Chen, LiChang Chen, Tianyi Zhou

TL;DR在大型语言模型 (LLMs) 中，我们研究在任务中使用较少的示范是否可以实现 in-context learning (ICL)，并且我们发现仅使用一组随机选择的示例也可以实现接近于所有示例的性能，并且 ICL (with 和 w/o CoT) 只使用一组正确示例比大多数以前的工作采用的全部示例 ICL 都表现更好，这暗示了 LLMs 在查找正确示例方面的困难。同时，我们发现 ICL 使用多个示例时的表现与预期情况相反，即当给出更多正确的 / 错误的示例时，ICL 的准确性会下降 / 提高，这暗示着干扰和他们之间的虚假关联可能会误导 ICL。因此，LLMs 培训，ICL 和基准设计中需要解决的若干基本挑战。

Abstract

large language models (LLMs) are capable to perform complex reasoning by in-context learning (ICL) when provided with a few input-output demonstrations (demos) and more powerful when intermediate reasoning steps

large language models in-context learning chain of thoughts biases interference

发现论文，激发创造

博士 ICL: 演示检索上下文学习

本研究表明，在语义上相似的演示可以提高大型语言模型的性能，这可以通过呈现一些示范来完成，并且可以有效地对大量语言和任务进行泛化，同时，我们还引入了任务特定的演示检索器，以进一步提高性能。

May, 2023

上下文学习与迭代示范选择

基于大规模语言模型的研究表明，通过上下文学习（ICL），在选择示范的少量样例时，可实现强有力的少样本学习能力。然而，ICL 的性能对少样本示范的选择非常敏感，因此选择最适合的上下文示范仍然是一个持续的挑战和一个开放性问题。本研究提出了迭代示范选择（IDS）方法，通过利用零样本思维推理（Zero-shot-CoT），IDS 迭代地选择既具有多样性又与测试样本强相关的示范。通过在示范选择之前对测试样本应用零样本思维推理，IDS 选择思维路径来作为推理的示范，从而生成答案并得到下一次迭代中用于提取新示范的相关推理路径。经过多次迭代后，IDS 采用多数投票的方法获得最终结果。通过在常识推理、问答、主题分类和情感分析等任务上进行了大量实验证明，IDS 能够一直优于现有的 ICL 示范选择方法。

Oct, 2023

Self-ICL: 自生成示范的零样本上下文学习

本文提出了 Self-ICL，一种基于零 - shot 学习的简单框架，用于优化大型语言模型的内在能力，并创造了虚拟演示的概念以有效地进行 ICL。通过在 BIG-Bench Hard 上进行的评估，该方法能够显着提高模型的性能。

May, 2023

具有大型语言模型的语境中感知歧义学习

通过对三个文本分类任务的广泛实验，我们发现在选择演示示例时，不仅选择语义上相似的演示示例有益，还选择那些有助于解决测试示例周围固有标签模糊性的演示示例。有趣的是，我们发现包括之前被 LLM 错误分类并且与测试示例的决策边界相近的演示示例能够带来最大的性能提升。

Sep, 2023

通过影响分析的上下文学习示范选择

通过使用影响函数分析训练样本的影响力，我们提出了一种名为 InfICL 的演示选择方法，用于选择对 In-Context Learning（ICL）有高影响力的训练样本，从而提高 ICL 的泛化性能，并在多个实际数据集上展示了 InfICL 相对于现有基准方法的优点。

Feb, 2024

针对大型语言模型的对抗性演示攻击

本文研究了使用演示数据对大型语言模型（LLMs）进行上下文学习（ICL）的安全问题，并通过 TextAttack 提出了一种只操纵演示而不改变输入的 ICL 攻击方法，结果表明，随着演示数量的增加，ICL 的鲁棒性会降低，并呼吁对 ICL 的鲁棒性进行广泛研究，特别是在 LLMs 的发展中。

May, 2023

上下文学习的动态演示控制器

通过动态调整演示数量，我们提出了一个动态演示控制器（D$^2$Controller），该控制器可以提高在十个数据集上的八种不同尺寸的大型语言模型（LLM）上的 In-Context Learning（ICL）性能，并在之前的 ICL 模型上取得了竞争性的结果。

Sep, 2023

通过演示中的多标签词改进上下文学习

通过使用多个标签词，并根据语言模型的输出分布选择和排序样本 - 标签对，可以提高上下文学习的性能，通过多样的标签信息改善性能。

Jun, 2024

基于检索演示的语言模型的上下文学习：一项调查

语言模型特别是预训练大型语言模型，在上下文少例学习方面表现出非凡的能力，能够在输入上下文中仅通过几个示例适应新任务。最近的一个发展是使用对每个输入查询量身定制的示例进行检索，这不仅提高了学习过程的效率和可伸缩性，还能减少手动示例选择中固有的偏差。基于鼓舞人心的结果和对检索式少例学习领域日益增长的研究，我们对该领域的研究进行了广泛的概述回顾，在此调查中，我们讨论并比较了检索模型、检索训练程序和推理算法的不同设计选择。

Jan, 2024

在情境学习中，可比较的示范至关重要：对示范选择的新视角

该研究从一种新的视角探索了 In-Context Learning (ICL) 机制，通过构建 Comparable Demonstrations (CDs) 来减少演示偏差，从而提供了对 ICL 演示选择策略的更深入理解。

Dec, 2023