逐步了解演示的递增效用：针对少样本上下文学习重排的分析

Nov, 2023

逐步了解演示的递增效用：针对少样本上下文学习重排的分析

Take One Step at a Time to Know Incremental Utility of Demonstration: An Analysis on Reranking for Few-Shot In-Context Learning

PDF

Kazuma Hashimoto, Karthik Raman, Michael Bendersky

TL;DR该文研究了大型语言模型在上下文学习中的效应，探讨了不同的标签策略对目标任务结果的影响，并提出了一种新颖的标签方法 —— 增量效用，实验证明该方法有效地提升了大型语言模型的性能。

Abstract

in-context learning (ICL) is an emergent capability of large language models (LLMs). Only a few demonstrations enable LLMs to be used as blackbox for new tasks. Previous studies have shown that using LLMs' output

in-context learning large language models labeling strategies incremental utility llms' performance

发现论文，激发创造

博士 ICL: 演示检索上下文学习

本研究表明，在语义上相似的演示可以提高大型语言模型的性能，这可以通过呈现一些示范来完成，并且可以有效地对大量语言和任务进行泛化，同时，我们还引入了任务特定的演示检索器，以进一步提高性能。

May, 2023

通过影响分析的上下文学习示范选择

通过使用影响函数分析训练样本的影响力，我们提出了一种名为 InfICL 的演示选择方法，用于选择对 In-Context Learning（ICL）有高影响力的训练样本，从而提高 ICL 的泛化性能，并在多个实际数据集上展示了 InfICL 相对于现有基准方法的优点。

Feb, 2024

具有大型语言模型的语境中感知歧义学习

通过对三个文本分类任务的广泛实验，我们发现在选择演示示例时，不仅选择语义上相似的演示示例有益，还选择那些有助于解决测试示例周围固有标签模糊性的演示示例。有趣的是，我们发现包括之前被 LLM 错误分类并且与测试示例的决策边界相近的演示示例能够带来最大的性能提升。

Sep, 2023

解析标签空间、格式和歧视：通过上下文学习重新思考 LLM 如何响应并解决任务

通过实证研究，我们在文中将 ICL 的整体表现分解为三个方面，即标签空间、格式和区分能力，并评估四种通用语言模型在各种任务中的性能。结果显示，虽然示范对于激发语言模型的区分知识的影响较小，但 ICL 对于调节标签空间和格式的表现具有显著效果，并能帮助语言模型按照期望的标签进行响应。此外，我们通过对检索机制的深入分析发现，检索最语义相似的示例明显提升了模型的区分能力。

Apr, 2024

Self-ICL: 自生成示范的零样本上下文学习

本文提出了 Self-ICL，一种基于零 - shot 学习的简单框架，用于优化大型语言模型的内在能力，并创造了虚拟演示的概念以有效地进行 ICL。通过在 BIG-Bench Hard 上进行的评估，该方法能够显着提高模型的性能。

May, 2023

基于检索演示的语言模型的上下文学习：一项调查

语言模型特别是预训练大型语言模型，在上下文少例学习方面表现出非凡的能力，能够在输入上下文中仅通过几个示例适应新任务。最近的一个发展是使用对每个输入查询量身定制的示例进行检索，这不仅提高了学习过程的效率和可伸缩性，还能减少手动示例选择中固有的偏差。基于鼓舞人心的结果和对检索式少例学习领域日益增长的研究，我们对该领域的研究进行了广泛的概述回顾，在此调查中，我们讨论并比较了检索模型、检索训练程序和推理算法的不同设计选择。

Jan, 2024

通过隐式示范增强上下文学习

在这篇论文中，我们首次从演示增强的角度来解决上下文学习的挑战，通过丰富演示的表示以及集成特定的统计特性，我们提出了一种简单但高效的方法，显著提高了各种预训练语言模型和任务的平均和最坏情况准确性，并有效减少了不同演示、排列和模板之间的性能差异，并且具备处理不平衡类别分布的能力。

Jun, 2024

逐步学习：通过课程学习增强上下文学习能力

演示排序是上下文学习中的重要策略，对大型语言模型的性能有显著影响。我们提出了少样本上下文课程学习（ICCL），一种简单但有效的演示排序方法，其在推理过程中逐渐增加提示演示的复杂性。通过设计三个实验来探讨 ICCL 的有效性、LLM 的 ICCL 能力形成机制以及排序主题的影响，实验结果表明，ICCL 在指导调整阶段对开源 LLM 有效。此外，与人类相比，LLM 对演示的难度层次辨别能力较弱。我们在此 https URL 上发布了我们的代码。

Feb, 2024

零样本上下文学习的演示增强

我们提出了一种名为 Demonstration Augmentation for In-context Learning (DAIL) 的方法，通过利用模型之前预测的历史样本作为后续样本的演示，来解决大型语言模型在零 - shot 学习中依赖外部信息并且生成过程耗时的问题，同时在没有任何外部信息的情况下，DAIL 不增加推理成本可以显著提高模型的性能。

Jun, 2024

迭代前向调整促进语言模型内部学习

本研究提出了一种有效的、高效的两阶段方法来增强大型语言模型中的上下文学习，该方法利用 Transformer 注意力和梯度下降优化之间的双重形式，将上下文学习过程分为 'Thinking' 和推理阶段，通过递归前向优化演示来增强 LLLs 的推理能力，并且将得到的元梯度通过注意力应用于最终的输出预测中，从而有效地、高效地适应下游任务。

May, 2023