自回归训练的变压器中的 Mesa - 优化：出现和能力

May, 2024

自回归训练的变压器中的 Mesa - 优化：出现和能力

On Mesa-Optimization in Autoregressively Trained Transformers: Emergence and Capability

Chenyu Zheng, Wei Huang, Rongzhen Wang, Guoqiang Wu, Jun Zhu...

TL;DR最近的研究表明，自回归训练的 Transformer 学习了一个内在的优化器，通过正向传播来优化一个内部目标函数，我们探索了一个通过梯度流进行自回归训练的一层线性因果自注意模型的非凸动力学，以填补该领域的知识空白，并验证了该模型能够实现内在学习能力和优化器假设。

Abstract

autoregressively trained transformers have brought a profound revolution to the world, especially with their in-context learning (ICL) ability to address downstream tasks. Recently, several studies suggest that t

autoregressively trained transformers in-context learning mesa-optimizer gradient flow ordinary least squares

发现论文，激发创造

揭示 Transformer 中的 Mesa 优化算法

通过逆向工程一系列经过训练的自回归 Transformer，我们发现其通过梯度驱动的学习中的 mesa-optimization 算法也可被改用于解决少样本监督任务，这表明 mesa-optimization 可能是大型语言模型在上下文学习能力方面的基础。此外，我们提出了一种新的自注意层 ——mesa-layer，它能显式、高效地解决上下文中给定的优化问题，并在合成和初步语言建模实验中展现出更好的性能，从而加强了 mesa-optimization 隐藏在训练的 Transformer 网络权重中的重要性的假设。

Sep, 2023

Transformer 模型在上下文自回归学习中的性能表现

基于 Transformer 模型的研究探讨其训练和预测过程中生成下一个 token 的方式，同时研究了正交矩阵和位置编码对于模型性能的影响。

Feb, 2024

训练的 Transformer 学习上下文中的线性模型

研究注意力机制的神经网络 transformer 采用渐变流进行单个线性自注意层的训练，实现在新的预测任务中使用标记示例的测试提示时具有预测误差与测试提示分布上最佳线性预测器相竞争的能力，且在多种分布转换下具有鲁棒性。

Jun, 2023

基于 Transformer 的线性模型上下文学习中的高阶优化方法研究

Transformers 使用高阶优化方法（如迭代牛顿法）实现了上下文学习（即从示例中学习而无需参数更新），并且与梯度下降相比具有相当的收敛速度，同时在条件良好和条件差的数据上都能成功进行上下文学习。

Oct, 2023

线性注意力下上下文学习的渐近理论

Transformers 在无需显式先前训练的情况下，基于输入示例学习和执行任务的能力，也称为上下文学习（ICL），是其成功的基础。本研究提供了关于所需样本复杂性、预训练任务多样性和上下文长度对成功 ICL 的明确答案，采用线性关注在 ICL 线性回归任务的可解模型中推导出了学习曲线的锐利渐近线。通过实验证明了随着先前训练示例数量增加，学习曲线具有双峰，且模型的行为在低和高任务多样性之间出现相变：在低多样性情况下，模型趋向于记忆训练任务，而在高多样性情况下，它实现了真正的上下文学习并在预训练任务范围之外进行泛化。这些理论洞见通过线性关注和完全非线性 Transformer 架构的实验进行了经验证实。

May, 2024

梯度下降的一步证明了在上下文中具有一层线性自注意力的最优学习者

使用线性自注意力的一层 Transformer 在合成的线性回归数据上进行预训练，表明通过最小化预训练损失可以实现最小二乘线性回归目标的梯度下降的单步操作。

Jul, 2023

线性变换器是多功能的上下文学习器

线性 Transformer 能隐式地执行梯度下降算法和找到优化策略。

Feb, 2024

非线性变压器的高效上下文学习训练：理论学习和泛化分析

通过理论分析，我们首次探讨了具有非线性自注意力和非线性 MLP 的 Transformer 模型的训练动态和 ICL 泛化能力，重点关注一组二分类任务，研究了各种因素对 ICL 泛化性能的影响，探讨了不同组件对 ICL 性能的贡献，并首次理论分析了模型修剪对 ICL 性能的影响，证明合适的基于大小的修剪可以在降低推理成本的同时对 ICL 产生最小影响，并通过数值实验验证了这些理论结果。

Feb, 2024

Transformers 学会使用预条件的梯度下降进行上下文学习

通过线性变压器在随机线性回归实例中的全局最小值，我们证明了经过训练的线性变压器的单个关注层实现了预处理的梯度下降的单个迭代，并证明了训练目标的某些临界点实现了 k 次预处理的梯度下降。

Jun, 2023

学习正确的潜在变量是否必然改善上下文中的学习？

对于大型自回归模型，如 Transformer，它们可以通过上下文学习 (即 ICL) 在不学习新权重的情况下解决任务，从而提供了高效解决新任务的方法。本文系统地研究了明确推断任务潜变量的效果，并发现与标准 Transformer 相比，在任务相关潜变量方面存在很少可辨别的差异，倾向于任务相关潜变量并不能普遍提高超出分布的性能；研究还发现，虽然瓶颈层可以有效地从上下文中提取潜在的任务变量，但下游处理很难利用它们进行稳健的预测。这项研究突显了 Transformer 在实现结构化的上下文学习解决方案方面的固有局限性，并表明虽然推断正确的潜变量有助于解释性，但对于解决这个问题来说并不足够。

May, 2024