研究了表现形式对于序列到序列的语言模型学习加减法算术任务的影响，发现表现形式对模型的准确性有很大影响；通过引入位置标记，模型可以准确地学习添加和减少 60 位数字。无论参数和训练示例数量如何，模型都不能学习与训练期间数字长度无关的加和规则。

Feb, 2021

通过在每个数字上添加编码其相对于数字起始位置的嵌入，解决了 transformers 在算术任务中表现较差的问题，并展示了该修复方法进一步提高性能的架构修改方法。通过解决位置问题，研究了 transformers 的逻辑推理能力，并发现通过单个 GPU 训练一天，仅使用 20 位数字，在 100 位加法问题上实现了高达 99% 的准确率的最新结果，并证明这种提高数字能力的方法也适用于其他多步骤推理任务，如排序和乘法。

May, 2024

使用变压器架构生成、评估和训练数学表达式，将其作为字符级序列转换任务进行分析，建立在关注机制上的编码器和解码器上。三个模型分别被训练在数学符号变量和表达式的理解和评估上，最终达到了测试准确率高达 76.1%、78.8% 和 84.9%。

Dec, 2018

这篇论文通过深入分析一个层次的 Transformer 模型在整数加法训练中的使用，揭示了该模型将任务划分为并行的、特定于数字的流，并对不同的数字位置采用不同的算法。研究还发现模型开始计算较晚但执行较快，识别并解释了一个稀有但损失较高的使用案例。总体上，该模型的算法得到了详细解释，这些发现通过严格的测试和数学建模得到了验证，对于机制解释性、人工智能安全性和对齐等广泛领域的工作具有重要贡献。我们的方法为分析更复杂的任务和多层 Transformer 模型打开了大门。

Oct, 2023

提出了一种混合系统，通过学习适当的替换规则并迭代应用这些规则到输入字符串，能够解决需要在符号序列上进行组合和系统推理的算术问题。

Jun, 2023

在不预训练的情况下，通过对训练数据进行简单的格式更改并使用包含中间步骤结果的思维链式数据进行训练，即便在完全缺乏预训练的情况下，也可以显著提高算术能力的准确性、样本复杂性和收敛速度。

Jul, 2023

尽管现代大型语言模型在各种复杂任务中表现出色，但它们仍然难以处理一些对人类来说很简单直观的数学问题，如加法。我们通过精心设计的干预实验，确认变压器在数学问题中执行基于案例的推理，无论是否使用 scratchpad。为了解决这些问题，我们提出了一种规则遵循微调 (Rule-Following Fine-Tuning) 技术，通过在输入中提供明确的规则，指导变压器逐步背诵和遵循这些规则。通过规则遵循微调，我们成功地使在 1-5 位数加法上微调的大型语言模型能够以超过 95% 的准确率推广到 12 位数加法，比使用 scratchpad 提高了 40% 以上。这一显著的改进表明，教导大型语言模型明确使用规则有助于它们学习基于规则的推理，并在长度方面更好地实现推广。

Feb, 2024

通过离散型系统和抽象学习框架的组合，提出了 ABL-Sym 算法，将 Transformer 神经模型与符号数学库相结合，从而在数学推理数据集上显示出显著的准确性提高。

Mar, 2022

本文提出了使用 Transformer 网络将数学问题转化为等价的前缀、中缀和后缀表达式，并使用预训练的通用文本语料库进行训练以提高性能，与以往最先进的方法相比，最好的神经网络方法可将准确率平均提高近 10%。

Dec, 2019

本文回顾了近年来关于深度学习在数学领域的研究，认为当前即使是最先进的深度学习模型在面对简单的数学和算术任务时也表现出较大局限性。

Mar, 2023