该文提出一种新的模型训练方法，称为in-context learning，可以使transformer模型通过给定的输入输出对，学习出新的输入对应的输出，而无需更新参数。研究者们在极小的数据集上训练模型进行线性函数的in-context learning，发现该模型即使出现了数据分布的改变，也能够对复杂函数进行有效和快速的学习。

Aug, 2022

本文介绍了in-context learning (ICL)的概念和算法及其在multitask learning领域的应用，提出了使用transformer model的方式，详细探讨了ICL在 i.i.d. 和动态数据下的泛化界限及其稳定性，以及任务复杂度和MTL任务数量对转移学习风险的影响。最后，提出了数值评估，并验证了理论预测。

Jan, 2023

研究注意力机制的神经网络transformer采用渐变流进行单个线性自注意层的训练，实现在新的预测任务中使用标记示例的测试提示时具有预测误差与测试提示分布上最佳线性预测器相竞争的能力，且在多种分布转换下具有鲁棒性。

Jun, 2023

为了理解上下文学习现象，最近的研究采用了一个简化的实验框架，并证明了Transformer可以学习各种实值函数的基于梯度的学习算法。然而，Transformer在实现学习算法方面的局限性以及其学习其他形式算法的能力尚不明确，而这些能力在基于注意力模型中是否有限制也不清楚。此外，还需要进一步研究这些简化设置所得出的见解是否可以推广到预训练的大语言模型（LLMs）。在本研究中，我们通过以下方式来一步步回答这些问题：（a）在一个包含各种布尔函数类的测试集上，我们发现Transformer在更简单的任务上几乎可以与最佳学习算法相匹配，但在更复杂的任务上性能下降。此外，我们发现某些无注意力模型在一系列任务上与Transformer表现（几乎）一致；（b）当提供一个教学序列，即一组通过示例唯一标识一个函数类的示例时，我们发现Transformer学习起来更加高效。有趣的是，我们的结果表明，Transformer可以学习实现两个不同的算法来解决一个任务，并且可以根据上下文示例的顺序自适应地选择更加高效的算法；（c）最后，我们展示了LLMs（如LLaMA-2、GPT-4）可以与最近邻基线在保证不在其训练集中的预测任务上竞争。

Oct, 2023

大型语言模型在转换器架构的基础上展现了卓越的上下文学习能力，本研究旨在深入了解更复杂的情境中的上下文学习，并通过研究表示学习来探索其机制和性能。

Oct, 2023

通过研究在背景语境中的大规模神经语言模型对正则语言的学习，我们展示了Transformers相对于递归或卷积模型在in-context语言学习任务上的显著优势，并提出硬连接高阶归纳头到递归和卷积模型可改善这个任务和自然语言建模的性能。

Jan, 2024

通过理论分析，我们首次探讨了具有非线性自注意力和非线性MLP的Transformer模型的训练动态和ICL泛化能力，重点关注一组二分类任务，研究了各种因素对ICL泛化性能的影响，探讨了不同组件对ICL性能的贡献，并首次理论分析了模型修剪对ICL性能的影响，证明合适的基于大小的修剪可以在降低推理成本的同时对ICL产生最小影响，并通过数值实验验证了这些理论结果。

Feb, 2024

Transformer模型在In-Context Learning方面表现出对标签噪声的鲁棒性，噪声的引入可以提高其鲁棒性，为自然语言处理中的Transformer研究提供了重要的见解。

Apr, 2024

本研究解决了对预训练大语言模型在上下文学习中如何对未见样例进行泛化的理论理解缺乏的问题。作者通过非线性回归任务分析变压器的训练动态，提出了在小样本提示下通过学习每个任务的模板函数来实现上下文泛化的创新方法。研究表明，在特定假设下，变压器能够有效学习上下文信息，从而实现对新任务和样例的泛化，这为机器学习模型的训练提供了新的视角。

Aug, 2024

本研究针对大型语言模型（LLM）中上下文学习的理论基础缺乏明确解释的问题，探讨了变换器其他构件如何促进上下文学习。通过分析一个包含相对位置嵌入、多头softmax注意力和归一化前馈层的复杂变换器模型，我们证明了在交叉熵损失下的梯度流收敛到一个包含引导头机制的极限模型，从而揭示了训练动态的贡献及其潜在影响。

Sep, 2024