上下文中缺少什么？利用信息化演示评估少样学习器
本研究分析显示：大型语言模型不需要准确的演示，而是通过演示提供的标签空间、输入文本的分布和序列的整体格式等方面驱动任务表现的提高。因此，揭示了语境学习的原理和作用方式，同时提出了新的问题，即能否仅仅通过推理来学习大型语言模型的更多内容。
Feb, 2022
语言模型特别是预训练大型语言模型，在上下文少例学习方面表现出非凡的能力，能够在输入上下文中仅通过几个示例适应新任务。最近的一个发展是使用对每个输入查询量身定制的示例进行检索，这不仅提高了学习过程的效率和可伸缩性，还能减少手动示例选择中固有的偏差。基于鼓舞人心的结果和对检索式少例学习领域日益增长的研究，我们对该领域的研究进行了广泛的概述回顾，在此调查中，我们讨论并比较了检索模型、检索训练程序和推理算法的不同设计选择。
Jan, 2024
本文从贝叶斯的角度出发，将大型语言模型视作主题模型，提出了一种从标注数据中选择最佳示范的算法，并在实际数据集中证明相对于随机选择基线，平均有 12.5% 的显著改进。研究表明，大型语言模型从示范中隐式地推断出潜在的概念变量。
Jan, 2023
本文旨在探讨如何使用主动学习算法作为选择最佳演示文稿的方法来服务于上下文学习，对比了基于不确定性、多样性和相似性等各种标准的演示文稿选择算法，并表明相似性算法胜过其他所有方法，包括随机抽样和不确定性抽样。
May, 2023
通过多维度分析多语言上下文学习对不同模型、任务和语言的效果，发现演示的有效性在各个方面有显著差异，并且发现 Llama 2-Chat、GPT-3.5 和 GPT-4 对演示的质量基本不敏感。相反，精心设计的模板往往完全消除了某些任务和语言的演示效果，这表明可能高估了演示的重要性。我们的工作强调了在多个方面进行细致评估以更好地理解上下文学习的需求。
Feb, 2024
本文比较了预先训练的语言模型的任务适应的两种替代策略：few-shot fine-tuning 和 in-context learning。通过控制模型、样本数量和参数数量，研究表明 fine-tuned language models 确实可以很好地泛化到 domain 外。虽然两种方法的表现存在巨大变化，并且取决于模型大小和样本数量等属性，说明鲁棒的任务适应仍然是一个挑战。
May, 2023
大型语言模型在少样本上下文学习方面表现出色，通过在推断时从上下文中提供的少量示例进行学习，无需任何权重更新。新的扩展上下文窗口使我们能够研究在上下文中使用数百或数千个示例进行学习的多样本学习方法。从少样本到多样本，我们观察到在各种生成性和判别性任务中取得了显著的性能提升。然而，多样本学习在可用的人类生成示例方面存在瓶颈。为了缓解这一限制，我们探索了两种新的设置：增强和无监督的多样本学习方法。增强多样本学习方法使用模型生成的思考链替代人类示例。无监督多样本学习方法则完全取消了提示信息中的理由，并仅通过领域特定问题对模型进行提示。我们发现，增强和无监督多样本学习方法在多样本学习中非常有效，特别是在复杂推理任务中。最后，我们证明与少样本学习不同，多样本学习可以有效地覆盖预训练偏差，并学习具有数值输入的高维函数。我们的分析还揭示了下一个标记预测损失作为下游上下文学习性能指标的局限性。
Apr, 2024
通过示例展示了大规模语言模型通过上下文学习实现各种任务的强大能力，为解决示例选择的不稳定性问题，提出了一种基于强化学习的算法用于识别泛化策略，以选择最佳示例以提高模型性能和泛化能力。
Nov, 2022
我们提出了一种名为 Demonstration Augmentation for In-context Learning (DAIL) 的方法，通过利用模型之前预测的历史样本作为后续样本的演示，来解决大型语言模型在零 - shot 学习中依赖外部信息并且生成过程耗时的问题，同时在没有任何外部信息的情况下，DAIL 不增加推理成本可以显著提高模型的性能。
Jun, 2024