通过询问对齐方式的另一种选择，全面研究了一致性学习（ICL）及其跨语言变体（X-ICL）对于 25 种低资源和 7 种相对较高资源的语言的有效性，发现了标签对齐的不足，并提供了有价值的洞察力，强调了提升低资源语言的理解能力的重要性。

Mar, 2024

通过利用跨语种检索增强的上下文学习（CREA-ICL）方法，从高资源语言中提取语义相似的提示，以改善多语言预训练语言模型（MPLMs）在各种任务中的零样本性能，本文研究了大型语言模型在低资源语言中上下文学习（ICL）性能的限制和挑战，并对检索增强的上下文学习在分类和生成任务中的性能动态提供了洞见。

Nov, 2023

通过分析 In-Context Alignment（ICA）的机制和适用性，本研究发现示例部分对提升模型对齐能力至关重要，同时还评估了 ICA 在不同对齐任务中的零 - shot 能力，结果显示相较于参数微调方法，ICA 在基于知识和工具应用任务上表现出更好的性能，然而在多轮对话和按指示执行任务方面仍存在某些局限性。

Jun, 2024

利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

Sep, 2023

大型语言模型（LLMs）在上下文学习（ICL）方面展示了显着的能力，在没有明确预训练的情况下，仅通过少量的训练示例学习新任务。然而，尽管 LLMs 获得了成功，对于 ICL 如何从给定的提示中学习知识却知之甚少。在本文中，为了对 ICL 的学习行为有所了解，我们通过 ICL 和监督学习 (SL) 分别使用相同的演示示例训练相同的 LLMs，并研究它们在一系列分类任务中在标签扰动（即嘈杂标签和标签不平衡）下的表现。通过广泛的实验证明，我们首先发现黄金标签对下游上下文性能有显著影响，尤其是对于大型语言模型；然而，对于所有模型大小，不平衡标签对 ICL 的影响较小。其次，通过与 SL 进行比较，我们实证表明 ICL 对标签扰动的敏感性较低，并且随着模型大小的增加，ICL 逐渐获得与 SL 相当的性能。

Jul, 2023

通过对一些最先进的 VLM（Visual Language Model）进行分析，我们发现它们在执行 ICL（In-Context Learning）指令时存在一定的不足。为了验证这个猜想，我们提出了一种简单但令人惊讶地有效的策略，通过扩展一个常见的 VLM 对齐框架，实现 ICL 支持、方法和课程设置。我们探讨、分析并提供了对有效数据混合的见解，从而显著提升了 21.03% 的 ICL 表现（平均 11.3%），超过了最强 VLM 基线和多种 ICL 基准，并为 VLM 的 ICL 评估贡献了新的基准，并讨论了它们相对于现有技术的优势。

Mar, 2024

本文概述了大型语言模型的新范式 —— 上下文学习，并探讨了训练策略和演示设计策略等高级技术，以及上下文学习所面临的挑战和未来方向。

Dec, 2022

该研究论文探讨了大型语言模型 (LLMs) 是否能够根据不同任务示例的上下文信号来解决新任务，并设计了一个跨任务提示设置，并表明 LLMs 在无需上下文提示的情况下能够获得显著的性能提升，同时展示了模型激活相似性与跨任务示例效果之间的强相关性。

May, 2024

本论文提出了一种新的跨语言转移提示方法 In-CLT, 在源语言和目标语言结合的情况下构建演示例子，证明在多语言基准测试中，这种提示方法不仅可以提高跨语言传递的可行性，而且在推理任务中展现出了显著的性能提升，平均比以前的跨语言转移方法提高了 10 到 20 个百分点，而且还探讨了词汇相似性和预训练语料库之间在跨语言转移缺口方面的关系。

May, 2023

大型语言模型通过在上下文中学习（ICL）在许多任务上展示了令人印象深刻的少量样本泛化能力。本研究提出了双向对齐（BiAlign）方法，旨在充分利用模型对 ICL 示例的偏好，提高较小模型的 ICL 能力。通过与大型模型的输入偏好对齐，同时对齐令牌级别的输出分布，BiAlign 在语言理解、推理和编码等各种任务中超过了现有基准。

Dec, 2023