通过提出图灵程序，将算法任务分解为模仿图灵机计算步骤的链式思维策略从而实现对一系列算法任务的稳健长度泛化，并证明了变压器模型能够实施图灵程序，并构造了一个模拟任意图灵机的简单 RASP（Weiss et al.）程序。

Jul, 2024

该研究探讨了基于 transformer 的语言模型的长度推广能力，发现预训练大语言模型的上下文学习能力与记事本提示相结合能大大改善长度推广，并鉴别了错误的共同来源，为赋予语言模型推广到更长问题的能力提供了新的机会。

Jul, 2022

使用适当的数据格式和位置编码的组合，本研究首次展示了标准 Transformers 在能够外推到输入长度 2.5 倍的序列长度方面的成功，然而与内分布泛化不同，长度泛化仍然是脆弱的，受到随机权重初始化和训练数据顺序等因素的显著影响，导致不同随机种子之间存在较大差异。

Feb, 2024

通过实验和注意力分析，我们研究了 transformer 模型在学习算术算法（如加法和乘法）方面的固有能力，并确定了几个实现最佳长度泛化的关键因素。我们展示了 transformer 模型能够借助有针对性的注意力偏置来推广到长长度，并引入了注意力偏置校准（ABC）阶段，使模型能够自动学习适当的注意力偏置，我们将其与相对位置编码中的机制联系起来。我们证明使用 ABC，transformer 模型能够在某些算术任务上达到前所未有的完美长度广义。

Oct, 2023

使用任务提示的方法改善长度泛化问题，在经典的排序问题上验证了其有效性，并通过探测和可视化技术提出了模型学习行为的理论构建，进一步提高了模型在未知长度上的性能。

Oct, 2023

本文研究 transformers 在基本整数算术和泛化到比训练中出现的更长序列的两个挑战中的应对方法，发现相对位置嵌入能够实现简单任务的长度泛化，但是对于乘法而言失败，提出了训练集引导方法（priming），为训练集添加一些长序列以解决此问题，并证明了该方法的有效性。同时，讨论了 priming 在算术以外的潜在应用。

Jun, 2023

调查了 Transformer 大型语言模型在涉及抽象符号的关系推理任务中的能力。对于 (i) 回归任务，我们证明了 Transformer 在训练时具有泛化性，但需要大量的训练数据；对于具有符号标签的 (ii) 下一个令牌预测任务，我们展示了一种 “反比例尺律”：随着嵌入维度的增加，Transformer 无法泛化。针对 (i) 和 (ii) 这两种情况，我们提出了微妙的 Transformer 修改，通过每个头部添加两个可训练参数来减少所需的数据量。

Oct, 2023

机器学习中的算法泛化是指以一种能够概括超出数据分布的方式学习生成数据的底层算法。在本研究中，我们分析了在涉及计数时，不论是隐式还是显式所需的算法泛化。我们展示了标准 Transformer 模型基于的架构决策阻碍了此类任务的超出分布性能。特别是，我们讨论了使用层归一化和通过 softmax 归一化注意力权重的后果。通过消融引起问题的操作，我们证明通过使用非常轻量级的架构，修改后的 Transformer 能够表现出良好的计数算法泛化性能。

Oct, 2023

我们分析了 Transformer 语言模型在学习离散算法方面的能力，通过引入两个需要组合多个离散子任务的新任务，我们在从头开始训练 LLaMA 模型以及 GPT-4 和 Gemini 上引导训练时，度量了学习的基本组合。我们观察到，最先进的 Transformer 语言模型的组合能力非常有限，而且在样本上的规模效果比为新的算法组合重新学习所有子任务要差。我们还提出了一个复杂性理论的定理，证明了在记忆前馈模型上的梯度下降可能在数据效率上指数级低效。

Feb, 2024

研究 Transformer 语言模型在自然语言中进行基于逻辑推理的任务，探究它们的系统泛化能力，发现其在逆向推理证明方面表现更优，并且发现没有经过证明生成训练的模型更适合处理长证明的问题。研究结果强调了 TLM 在逻辑推理中的系统泛化行为，并且对其核心推理策略的深入研究提出了启示。

Sep, 2020