基于误判的 LLM 情境学习的示范选择

Jan, 2024

基于误判的 LLM 情境学习的示范选择

Misconfidence-based Demonstration Selection for LLM In-Context Learning

Shangqing Xu, Chao Zhang

TL;DR本文介绍了一种名为 In-Context Reflection (ICR) 的新方法，通过策略性地选择示范来减少大语言模型 (LLMs) 的输出与实际输入输出映射之间的差异，从而克服了在实践中选择示范的困难。经过综合评估，ICR 在五个不同数据集和 13 个子任务中显示出了显著的效果和跨任务的普适能力。

Abstract

in-context learning with large language models (LLMs) excels at adapting to various tasks rapidly. However, its success hinges on carefully selecting demonstrations, which remains an obstacle in practice. Current

in-context learning large language models in-context reflection demonstration selection task adaptation

发现论文，激发创造

博士 ICL: 演示检索上下文学习

本研究表明，在语义上相似的演示可以提高大型语言模型的性能，这可以通过呈现一些示范来完成，并且可以有效地对大量语言和任务进行泛化，同时，我们还引入了任务特定的演示检索器，以进一步提高性能。

May, 2023

通过影响分析的上下文学习示范选择

通过使用影响函数分析训练样本的影响力，我们提出了一种名为 InfICL 的演示选择方法，用于选择对 In-Context Learning（ICL）有高影响力的训练样本，从而提高 ICL 的泛化性能，并在多个实际数据集上展示了 InfICL 相对于现有基准方法的优点。

Feb, 2024

具有大型语言模型的语境中感知歧义学习

通过对三个文本分类任务的广泛实验，我们发现在选择演示示例时，不仅选择语义上相似的演示示例有益，还选择那些有助于解决测试示例周围固有标签模糊性的演示示例。有趣的是，我们发现包括之前被 LLM 错误分类并且与测试示例的决策边界相近的演示示例能够带来最大的性能提升。

Sep, 2023

MT 中 LLM 的上下文学习能力的实证分析

探讨了大型语言模型在上下文学习中的能力，并研究了上下文演示的不同方面对机器翻译任务的影响。观察到不同模型家族对扰动示例呈现不同的行为，表明上下文学习的鲁棒性可能受到多种因素的影响。需要进一步研究来全面了解这些因素。

Jan, 2024

统一演示选择与压缩以实现上下文学习

ICL 的框架 UniICL 通过一个冻结的 LLM 统一了演示选择、演示压缩和响应生成，并实现了有效的缩放，从 4-shot 到 64-shot 的 ICL 提高了 12 倍。

May, 2024

Self-ICL: 自生成示范的零样本上下文学习

本文提出了 Self-ICL，一种基于零 - shot 学习的简单框架，用于优化大型语言模型的内在能力，并创造了虚拟演示的概念以有效地进行 ICL。通过在 BIG-Bench Hard 上进行的评估，该方法能够显着提高模型的性能。

May, 2023

揭示基于学习的示范选择在情境学习中的机制

通过分析学习基于示例选择方法的工作机制，我们鉴定出与相似度测量相关的两个重要因素：1）在示例和测试用例输入之间整合不同级别的与任务无关的文本相似度能够增强在不同任务中的泛化能力；2）在测量相似度时结合任务特定标签显著提高每个特定任务的性能。基于这些发现，我们提出了两种适应任务无关和任务特定需求的有效简化示例选择方法，消除了昂贵的大型语言模型推理开销。

Jun, 2024

在情境学习中，可比较的示范至关重要：对示范选择的新视角

该研究从一种新的视角探索了 In-Context Learning (ICL) 机制，通过构建 Comparable Demonstrations (CDs) 来减少演示偏差，从而提供了对 ICL 演示选择策略的更深入理解。

Dec, 2023

修正上下文学习中的演示快捷方式

大型语言模型通过它们的上下文学习能力能够只使用几个示例来解决各种任务。然而，LLMs 通常依赖于它们预先训练的演示案例的语义先验知识而不是依靠输入 - 标签关系来进行上下文学习预测。本研究有意解决这个现象，引入了一种称为 “演示捷径” 的现象。通过介绍一种演示感知的校准方法 ——In-Context Calibration，我们旨在使 LLM 能够有效地从示例中学习新的输入 - 标签关系。我们在两个场景下评估了所提出方法的有效性：（1）使用标准标签空间的原始上下文学习任务和（2）任务学习设置，其中标签空间由语义上不相关的令牌替代。在这两个场景中，In-Context Calibration 表现出显著的改进效果，并在多个 LLM 家族（OPT，GPT 和 Llama2）的各种配置下推广得到了结果。

Mar, 2024

再探在上下文学习中的示范选择策略

大型语言模型通过上下文学习（ICL）展示出了在各种任务中都具备惊人的能力，本研究探讨了影响 ICL 性能的因素，并提出了一种基于数据和模型的演示选择方法，该方法通过性能与模型对测试样本的理解相关联来进行演示选择，从而在语言理解和生成任务中实现了一致的改进。

Jan, 2024