探索大型语言模型中的上下文学习决策边界

Jun, 2024

探索大型语言模型中的上下文学习决策边界

Probing the Decision Boundaries of In-context Learning in Large Language Models

Siyan Zhao, Tung Nguyen, Aditya Grover

TL;DR通过探究决策边界对上下文二分类的定性行为，我们发现现有的大型语言模型在简单的二分类任务中学习到的决策边界通常是不规则且非平滑的，本论文研究了影响这些决策边界的因素，并探讨了提高它们泛化能力的方法。通过评估各种方法，包括对大型语言模型的无需训练和微调方法、模型架构的影响以及平滑决策边界的数据高效技术的有效性，我们的研究结果为理解上下文学习动态和改善其鲁棒性和泛化能力提供了更深入的认识和实用改进。

Abstract

in-context learning is a key paradigm in large language models (LLMs) that enables them to generalize to new tasks and domains by simply prompting these models with a few exemplars without explicit parameter upda

in-context learning large language models decision boundaries generalizability inductive biases

发现论文，激发创造

生成式校准用于上下文学习

通过理论和实证研究，我们首次确定了上下文学习中的标签偏移现象，并提出了一种生成校准方法，通过调整标签边际分布来校准上下文预测分布，实验证明该方法在文本分类任务中显著且一致地优于其他校准方法，同时对于不同的提示配置也表现稳定。

Oct, 2023

探究上下文学习行为：与监督学习的比较

大型语言模型（LLMs）在上下文学习（ICL）方面展示了显着的能力，在没有明确预训练的情况下，仅通过少量的训练示例学习新任务。然而，尽管 LLMs 获得了成功，对于 ICL 如何从给定的提示中学习知识却知之甚少。在本文中，为了对 ICL 的学习行为有所了解，我们通过 ICL 和监督学习 (SL) 分别使用相同的演示示例训练相同的 LLMs，并研究它们在一系列分类任务中在标签扰动（即嘈杂标签和标签不平衡）下的表现。通过广泛的实验证明，我们首先发现黄金标签对下游上下文性能有显著影响，尤其是对于大型语言模型；然而，对于所有模型大小，不平衡标签对 ICL 的影响较小。其次，通过与 SL 进行比较，我们实证表明 ICL 对标签扰动的敏感性较低，并且随着模型大小的增加，ICL 逐渐获得与 SL 相当的性能。

Jul, 2023

大型语言模型中的元上下文学习

本文介绍了大型语言模型在上下文学习中的递归学习能力，即元上下文学习。作者以两个理想化的领域为例，展示了元上下文学习是如何适应性地重塑大型语言模型对预期任务的先验知识，并修改其上下文学习策略。最后，作者通过真实世界回归问题的基准测试发现，元上下文学习与传统学习算法相比具有有竞争力的性能。通过元上下文学习而不是传统的 finetuning 来纯粹地适应大型语言模型应用的环境，可以提高大家对上下文学习的理解，为大型语言模型的应用打下基础。

May, 2023

基于核回归的大语言模型上下文学习解析

通过研究大型语言模型，本文提出 Large language models 可以在面对语境示例时模拟核回归算法，并证明了在 Context prompts 上的贝叶斯推理可以被当作大样本上的核回归，并通过实证研究发现，LLMs 中的注意力和隐藏特征与核回归的行为相匹配，这些为 ICL 领域中观察到的多种现象提供了见解。

May, 2023

在上下文中进行探究：通过对大型语言模型进行探查以构建强大的分类器

本文介绍了一种名为 'in-context probing' 的方法，能够更好地提高大型语言模型在分类任务中的鲁棒性，并证明了这种方法在与提供的指令变化较大时更具可靠性。

May, 2023

多标签文本分类的上下文学习

利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

Sep, 2023

大型语言模型中的上下文学习学习标签关系但非传统学习

通过研究源自于上下文的学习能力、预训练和标签关系对大语言模型性能的影响，我们的研究发现 LLMs 通常会整合上下文标签信息，但预训练和上下文标签关系被区别对待。同时，模型并不会同等考虑所有上下文信息，这些发现有助于理解和调整 LLM 的行为。

Jul, 2023

由标签分布指导的上下文示例排序

通过优化问题，研究通过预训练语言模型的上下文学习中的示例排序，以提高文本分类的准确性和选择更好的上下文示例。

Feb, 2024

有监督的知识提升大语言模型在上下文学习中的表现

通过提示工程，大型语言模型（LLMs）展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而，在自然语言理解和问题回答方面，提高 LLMs 的泛化能力和准确性的关键挑战仍未得到充分探索。

Dec, 2023

大语言模型中上下文学习的不确定性分解和量化

我们的研究探讨了与上下文学习相关的大型语言模型的预测不确定性，强调这种不确定性可能来自提供的示范（先验不确定性）和模型配置的歧义（后验不确定性），提出了一种新的公式和相应的估计方法来量化两种类型的不确定性，以插入和使用的方式无监督地理解上下文学习的预测。广泛的实验证明了该分解的有效性。

Feb, 2024