本文研究了针对数字推理任务的自然语言处理模型表现，并发现现有的评估指标无法有效测量模型在这一任务上的进展。

Sep, 2021

本文研究 BERT 语言模型是否具备数学能力，从而能够解决单词数学问题，提出了一种预训练任务 Neighbor Reasoning Order Prediction (ROPS)，针对数学过程提供了半正式的解释步骤，通过新的模型和预训练任务，实现了比数据驱动基线和结构更加优化的模型更好的结果，并且还展示了如何减少这种模型中的位置偏差。

Jun, 2021

本文提出了一种基于单跨提取的阅读理解模型的推理模板方法，针对复杂问题分解成若干简单子问题进行处理，实现了对减法算术问题的回答并具有竞争力，同时可解释、需要少量监督。

Apr, 2021

提出了一种新的推理感知预训练方法，使用对比学习将另一种数字表示形式纳入预训练模型，通过基于推理的数字预测任务训练来提高其数值推理能力，实验结果表明该方法在需要数值推理的任务上能够提高准确性，并且人类评估显示该方法能够提高数据集上的事实正确性。

May, 2022

该研究调查了语言模型在计算预测和问题解决能力方面的应用，以及其在进行算术计算和内部信息处理方面的推广能力。通过使用二进制加法和乘法作为测试样本，该研究成功地训练了一个轻量级语言模型，并进行了一系列实验以探究其外推能力和内部信息处理过程。研究结果支持了该假设，即语言模型在适当的内部表示映射后，计算发生在数值空间中，其工作类似于一个编码 - 回归 - 解码机器。

Aug, 2023

通过在大量数据集上进行多任务训练，我们展示了数值推理可以注入到预训练的语言模型中，使性能得到显著提高。在一个简单通用的 encoder-decoder 架构上训练，我们的模型 GenBERT 在 DROP 数据集上的性能可以达到与同等规模的最先进模型相媲美，同时在数学单词问题数据集上保持高性能，这种方法为延展技能到大型预训练语言模型提供了一般的解决方案。

Apr, 2020

这篇论文提出了一个层次化的数值推理技能分类法，涵盖四个级别的十多种推理类型。通过对先进模型进行全面评估，并开发了一组多样化的数值探针，论文发现在所有数值推理类型中，FlanT5（无 / 少数据）和 GPT-3.5（少数据）相对其他模型表现出强大的整体数值推理技能。标签颠倒探针表明模型经常利用数据集的特征来预测正确的标签。

Nov, 2023

本文介绍了一种名为 ELASTIC 模型的数值推理方法，它采用了 RoBERTa 作为编码器和 Reasoning Manager、Operator Generator、Operands Generator、Memory Register 等四个模块，支持复杂推理，具有很强的领域无关性，可以扩展多种运算符并无视操作数的数量，实验表明 ELASTIC 模型在 FinQA 数据集上达到了 68.96% 的执行精度和 65.21% 的程序精度，在 MathQA 数据集上的程序精度为 83.00%，显著优于前人的最先进模型。

Oct, 2022

本文研究如何通过分解数字来提高 Transformer 语言模型执行算术运算的准确性，称之为 “Calculon”，并将其与 GPT-3 在加减乘三个运算任务上进行了对比，结果表明在五位数加法任务上，Calculon 的准确率提高了 63％。

Apr, 2023

本研究提出基于 DistilBERT、XLM 和 BERT 的多语言探究任务，探讨自然语言数字系统中数值数据的组合推理证据，并发现这些预训练模型嵌入中编码的信息足以支持合法性判断，但一般不适用于值比较。

Oct, 2020