研究了表现形式对于序列到序列的语言模型学习加减法算术任务的影响，发现表现形式对模型的准确性有很大影响；通过引入位置标记，模型可以准确地学习添加和减少60位数字。无论参数和训练示例数量如何，模型都不能学习与训练期间数字长度无关的加和规则。

Feb, 2021

本文研究了大型预训练语言模型在符号操作任务上的能力，发现其对于简单的符号操作任务如复制、反转、加法等存在局限，并提出了基于位置标记，细粒度计算步骤以及可调用程序的方法来解决该问题。结果显示，这些方法均无法完全解决最简单的加法归纳问题。最后，介绍了一种带有辅导的LMs，可以在OOD和重复符号的情况下实现100％的准确性。

Aug, 2022

该研究调查了语言模型在计算预测和问题解决能力方面的应用，以及其在进行算术计算和内部信息处理方面的推广能力。通过使用二进制加法和乘法作为测试样本，该研究成功地训练了一个轻量级语言模型，并进行了一系列实验以探究其外推能力和内部信息处理过程。研究结果支持了该假设，即语言模型在适当的内部表示映射后，计算发生在数值空间中，其工作类似于一个编码-回归-解码机器。

Aug, 2023

数字分词选择对算术任务模型效果产生显著影响；使用从右到左的分词方式能够明显提升性能，并显示出模型计算具有系统性；针对左到右分词方向模型的错误模式进行了深入分析，发现模型能够轻松转换分词方式

Feb, 2024

通过调整数字的表示方式，使用NumeroLogic格式，我们为语言模型处理数字数据和执行算术运算的困难提供了解决方法，并改进了自然语言理解性能。

Mar, 2024

研究证实，大型语言模型在处理基于符号的任务时面临符号复杂度上升的挑战，强调了需要专门的训练、内存和架构调整以提高它们在符号推理任务中的熟练度。

May, 2024

基于修改后的数字格式化和自定义位置编码，我们的方法允许Transformer在加法和乘法中以最多5位数的数字进行训练并推广到50位数，而无需使用更多的数据来处理更长的序列。

Jun, 2024

大型语言模型在进行算术任务中对多位数乘法的可信准确预测能力较强，而对单位数乘法可信准确预测的能力较差，但在给出正确的高位数字作为条件下，后者任务的可信准确预测能力可以大幅提升。

Jun, 2024

本研究针对大语言模型（LLMs）在算术计算中的不可靠性问题，揭示了其计算过程中的特定机制。我们发现少量的注意力头在运算中起着关键作用，并通过对这些关键头进行选择性微调，显著提升了LLMs的数学计算能力，而非数学任务的表现不受影响。此工作为理解和提升LLMs的算术计算能力奠定了基础。

Sep, 2024

本研究探讨了大语言模型在数字操作中的表现差异，尤其是不同数字系统对其性能的影响。我们发现十进制系统在数据效率上优于其他数字系统，并揭示了模型在加法和乘法操作中的外推行为模式。这一发现为提升语言模型的数字处理能力提供了新的视角。

Sep, 2024