使用变压器架构生成、评估和训练数学表达式，将其作为字符级序列转换任务进行分析，建立在关注机制上的编码器和解码器上。三个模型分别被训练在数学符号变量和表达式的理解和评估上，最终达到了测试准确率高达 76.1%、78.8% 和 84.9%。

Dec, 2018

本文介绍了一种新的自动解决算术词问题的方法，它是第一种能够处理多步骤和多操作算术问题的算法方法，不依赖于附加的注释或预定义的模板。作者提出了一种表达式树的理论，可以用于表示和评估目标算术表达式，并将其唯一分解为多个分类问题；然后，作者采用受限推理框架将这些问题组合成表达式树，并通过 “数量模式” 提升模型表现，实验结果表明，该方法在算术词问题的基准数据集上实现了业界领先的性能。

Aug, 2016

本文提出一种基于通用 Transformer 的深度学习模型，通过发现高效的算数程序，利用外部的网格状记忆进行多位数的加法计算，并且发掘了人类类似的计算策略，如位值对齐。

Jul, 2022

基于神经网络的自动数学问题求解器在解决算术问题方面成功地达到了 70-80％的准确率，然而研究表明这些求解器可能依赖表面模式得到方程。为了确定数学问题求解器使用哪些信息生成解答，我们移除输入的一部分并测量模型对扰动数据集的表现。结果表明，当给出无意义问题时，即使从输入中删除许多单词，模型也不敏感并仍能找到正确答案。这表明自动求解器并不遵循数学问题的语义逻辑，可能过拟合于特定单词的存在。

Jul, 2023

该研究提出了一种基于编码器 - 解码器的模型，完全利用问题文本并保留逐步的交换律，以产生无论数量的排列方式如何都具有不变性的表达式嵌入，并进一步对问题文本进行编码以指导解码过程，可以提高数学问题自动求解程序的性能。

Feb, 2023

本文提出了一个神经网络模型，基于编码器 - 解码器框架，利用自然语言理解桥接语义世界和符号世界，自动解决数学应用问题，并在 Math23K 数据集上验证模型的有效性。

Nov, 2018

在不预训练的情况下，通过对训练数据进行简单的格式更改并使用包含中间步骤结果的思维链式数据进行训练，即便在完全缺乏预训练的情况下，也可以显著提高算术能力的准确性、样本复杂性和收敛速度。

Jul, 2023

研究了表现形式对于序列到序列的语言模型学习加减法算术任务的影响，发现表现形式对模型的准确性有很大影响；通过引入位置标记，模型可以准确地学习添加和减少 60 位数字。无论参数和训练示例数量如何，模型都不能学习与训练期间数字长度无关的加和规则。

Feb, 2021

通过在每个数字上添加编码其相对于数字起始位置的嵌入，解决了 transformers 在算术任务中表现较差的问题，并展示了该修复方法进一步提高性能的架构修改方法。通过解决位置问题，研究了 transformers 的逻辑推理能力，并发现通过单个 GPU 训练一天，仅使用 20 位数字，在 100 位加法问题上实现了高达 99% 的准确率的最新结果，并证明这种提高数字能力的方法也适用于其他多步骤推理任务，如排序和乘法。

May, 2024

使用数据生成方法和符号代数，对变换器编码器的数学推理和泛化进行了 200,000 个例子的超大规模实验，并回答了变换器是否可以学习应用符号规则并推广到超出分布范围的例子。结果表明，扰动严重影响性能，并且可以将 F1 分数降至低于 17％，这表明推理主要由与数学运算的深层理解无关的表层模式所支配。

May, 2023