内外优化的上下文学习状态向量

Apr, 2024

In-Context Learning State Vector with Inner and Momentum Optimization

Dongfang Li, Zhenyu Liu, Xinshuo Hu, Zetian Sun, Baotian Hu...

TL;DR通过对压缩向量进行细致分析并引入状态向量的概念，我们提出了内部和动量优化方法，并通过模拟状态向量聚合和分割以在多示例情况下进行更好的优化，实验证明这些优化方法有效地提升了状态向量，并在各种任务中取得了最先进的性能。

Abstract

large language models (LLMs) have exhibited an impressive ability to perform in-context learning (ICL) from only a few examples. Recent works have indicated that the functions learned by ICL can be represented th

large language models in-context learning compressed vectors state vector optimization method

发现论文，激发创造

上下文化学习创建任务向量

使用全面实验证明，In-context learning 通常具有非常简单的结构，即对应于仅有查询 x 和从训练集计算得到的单个 “任务向量” 的 Transformer LLM，可将训练集 S 压缩为单个任务向量 θ(S)，并使用该任务向量来调节 Transformer 以产生输出。

Oct, 2023

上下文向量：通过潜在空间导向使上下文学习更有效和可控

使用 ICV 替代上下文学习以解决其限制，并展示了 ICV 在多个任务上的更好性能。

Nov, 2023

迭代前向调整促进语言模型内部学习

本研究提出了一种有效的、高效的两阶段方法来增强大型语言模型中的上下文学习，该方法利用 Transformer 注意力和梯度下降优化之间的双重形式，将上下文学习过程分为 'Thinking' 和推理阶段，通过递归前向优化演示来增强 LLLs 的推理能力，并且将得到的元梯度通过注意力应用于最终的输出预测中，从而有效地、高效地适应下游任务。

May, 2023

隐式上下文学习

在这项研究中，我们介绍了一种名为 Implicit In-context Learning (I2CL) 的创新范式，通过将演示样例吸收到激活空间中，解决了传统 In-context Learning (ICL) 所面临的挑战。经过实证评估，I2CL 在三种模型架构的九个真实世界任务上实现了接近零成本的少样本性能，并且对演示样例的变化表现出鲁棒性。此外，I2CL 促进了一种名为 “task-ids” 的新颖表示，增强了任务相似性检测能力并实现了有效的迁移学习。

May, 2024

可学习的上下文向量用于视觉问答

学习型 ICV（L-ICV）从示范中提取必要的任务信息，改善 LMM 中的 ICL 性能，通过与传统 ICL 和其他不可学习的 ICV 方法相比，实验结果显示 L-ICV 能够显著降低计算成本并提高 VQA 任务的准确性。

Jun, 2024

多模态任务向量实现大规模多模态上下文学习

通过利用内插的大型多模态模型中的多模态任务向量，我们的研究工作实现了多模态的多射击上下文学习，并证明这些提取出的多模态任务向量可以随着压缩射击数的增加而提高性能，并且可以推广到类似的领域任务而不需要额外的上下文长度进行推理。

Jun, 2024

大型语言模型的上下文学习中的分布式规则向量

Large Language Models demonstrate In-Context Learning through an information aggregation mechanism, where task vectors are not present, but rule vectors encode high-level abstractions of rules extracted from multiple demonstrations.

Jun, 2024

通过影响分析的上下文学习示范选择

通过使用影响函数分析训练样本的影响力，我们提出了一种名为 InfICL 的演示选择方法，用于选择对 In-Context Learning（ICL）有高影响力的训练样本，从而提高 ICL 的泛化性能，并在多个实际数据集上展示了 InfICL 相对于现有基准方法的优点。

Feb, 2024

面向视觉与语言模型的多模态上下文学习

通过对一些最先进的 VLM（Visual Language Model）进行分析，我们发现它们在执行 ICL（In-Context Learning）指令时存在一定的不足。为了验证这个猜想，我们提出了一种简单但令人惊讶地有效的策略，通过扩展一个常见的 VLM 对齐框架，实现 ICL 支持、方法和课程设置。我们探讨、分析并提供了对有效数据混合的见解，从而显著提升了 21.03% 的 ICL 表现（平均 11.3%），超过了最强 VLM 基线和多种 ICL 基准，并为 VLM 的 ICL 评估贡献了新的基准，并讨论了它们相对于现有技术的优势。

Mar, 2024

基于核回归的大语言模型上下文学习解析

通过研究大型语言模型，本文提出 Large language models 可以在面对语境示例时模拟核回归算法，并证明了在 Context prompts 上的贝叶斯推理可以被当作大样本上的核回归，并通过实证研究发现，LLMs 中的注意力和隐藏特征与核回归的行为相匹配，这些为 ICL 领域中观察到的多种现象提供了见解。

May, 2023