通过双向对齐改善上下文学习

Dec, 2023

Improving In-context Learning via Bidirectional Alignment

Chengwei Qin, Wenhan Xia, Fangkai Jiao, Shafiq Joty

TL;DR大型语言模型通过在上下文中学习（ICL）在许多任务上展示了令人印象深刻的少量样本泛化能力。本研究提出了双向对齐（BiAlign）方法，旨在充分利用模型对 ICL 示例的偏好，提高较小模型的 ICL 能力。通过与大型模型的输入偏好对齐，同时对齐令牌级别的输出分布，BiAlign 在语言理解、推理和编码等各种任务中超过了现有基准。

Abstract

large language models (LLMs) have shown impressive few-shot generalization on many tasks via in-context learning (ICL). Despite their succ

large language models few-shot generalization in-context learning alignment smaller models

发现论文，激发创造

上下文对齐能走多远？探索上下文对齐的现状

通过分析 In-Context Alignment（ICA）的机制和适用性，本研究发现示例部分对提升模型对齐能力至关重要，同时还评估了 ICA 在不同对齐任务中的零 - shot 能力，结果显示相较于参数微调方法，ICA 在基于知识和工具应用任务上表现出更好的性能，然而在多轮对话和按指示执行任务方面仍存在某些局限性。

Jun, 2024

多语言 LLM 通过对齐更好地进行跨语言上下文学习

本研究分析了在跨语言文本分类中使用 in-context learning 的问题，并提出了一种称为 Cross-lingual In-context Source-Target Alignment (X-InSTA) 的 prompt 构建策略，该策略在 44 个不同的跨语言数据集上表现出了很好的性能。

May, 2023

为什么更大的语言模型在上下文中学习方式不同？

大型语言模型（LLM）通过上下文学习（ICL）的关键能力成为 AI 的强大工具，本研究探讨了不同规模的模型在 ILC 行为上的不同性质，并在两个设定下分析了变压器的注意力机制与 ICL 的关系。

May, 2024

面向视觉与语言模型的多模态上下文学习

通过对一些最先进的 VLM（Visual Language Model）进行分析，我们发现它们在执行 ICL（In-Context Learning）指令时存在一定的不足。为了验证这个猜想，我们提出了一种简单但令人惊讶地有效的策略，通过扩展一个常见的 VLM 对齐框架，实现 ICL 支持、方法和课程设置。我们探讨、分析并提供了对有效数据混合的见解，从而显著提升了 21.03% 的 ICL 表现（平均 11.3%），超过了最强 VLM 基线和多种 ICL 基准，并为 VLM 的 ICL 评估贡献了新的基准，并讨论了它们相对于现有技术的优势。

Mar, 2024

迭代前向调整促进语言模型内部学习

本研究提出了一种有效的、高效的两阶段方法来增强大型语言模型中的上下文学习，该方法利用 Transformer 注意力和梯度下降优化之间的双重形式，将上下文学习过程分为 'Thinking' 和推理阶段，通过递归前向优化演示来增强 LLLs 的推理能力，并且将得到的元梯度通过注意力应用于最终的输出预测中，从而有效地、高效地适应下游任务。

May, 2023

大型语言模型感知语境学习用于代码生成

基于大型语言模型的代码生成中，我们提出了一种名为 LAIL 的新型学习选择方法，通过考虑给定需求和示例时生成真实程序的概率来估计候选示例，并通过概率反馈对候选示例进行标记，使用对比学习目标训练一个有效的检索器，从而提高了代码生成的性能。在 CodeGen 和 GPT-3.5 方面，LAIL 在三个代表性数据集上分别比基准线提高了 11.58％、6.89％、5.07％和 4.38％、2.85％、2.74％的 Pass@1 指标。

Oct, 2023

由标签分布指导的上下文示例排序

通过优化问题，研究通过预训练语言模型的上下文学习中的示例排序，以提高文本分类的准确性和选择更好的上下文示例。

Feb, 2024

用于近似无偏上下文学习的精调语言模型

引入了一种重新加权的算法 RICL（Reweighted In-context Learning），并提出了一种低成本重新加权算法 LARICL（Linear Approximation of Reweighted In-context Learning），这些算法通过有效地优化输入提示来改善大语言模型（LLMs）的性能。

Oct, 2023

上下文语言学习：结构和算法

通过研究在背景语境中的大规模神经语言模型对正则语言的学习，我们展示了 Transformers 相对于递归或卷积模型在 in-context 语言学习任务上的显著优势，并提出硬连接高阶归纳头到递归和卷积模型可改善这个任务和自然语言建模的性能。

Jan, 2024

通过影响分析的上下文学习示范选择

通过使用影响函数分析训练样本的影响力，我们提出了一种名为 InfICL 的演示选择方法，用于选择对 In-Context Learning（ICL）有高影响力的训练样本，从而提高 ICL 的泛化性能，并在多个实际数据集上展示了 InfICL 相对于现有基准方法的优点。

Feb, 2024