通过对BERT模型进行探究研究，本文发现利用线性编码能够提升模型在数字任务上的性能，同时发现了名词和动词之间的语法数有不同的编码方式，并且还找出了传递名词语法数信息到其头部动词的模型层数。

Apr, 2022

通过使用多种类型不同的语言，我们通过手动将 GSM8K 数据集中的 250 个小学数学问题翻译成十种不同的语言，评估了大型语言模型在多语种环境下的推理能力，并提出了 MGSM 基准。我们发现，随着模型规模的增加，使用思维链提示解决 MGSM 问题的能力越来越强，即使在孟加拉语和斯瓦希里语等少数语言中，这些模型也具有非常强的多语种推理能力。最后，我们展示了语言模型的多语种推理能力扩展到其他任务，例如常识推理和上下文语义判断。

Oct, 2022

本文提出了一种利用锚定数字来诱发和利用预先训练的语言模型潜在的数字推理知识的新方法，通过在复杂的数字上应用简单的锚定数字隐含的推理表达式，以显式地得到相应的答案并训练语言模型的数字推理能力。实验结果表明该方法显著提高了现有语言模型的数字推理能力。

Oct, 2022

本文提出了 LUNA 框架，利用 NumTok 和 NumBed 插件改进了基于 Transformers 的语言模型的数字推理和计算能力，并在三个大规模的转换器模型上评估了其性能，提高了语言模型的表现。

Dec, 2022

这篇论文提出了一个层次化的数值推理技能分类法，涵盖四个级别的十多种推理类型。通过对先进模型进行全面评估，并开发了一组多样化的数值探针，论文发现在所有数值推理类型中，FlanT5（无/少数据）和GPT-3.5（少数据）相对其他模型表现出强大的整体数值推理技能。标签颠倒探针表明模型经常利用数据集的特征来预测正确的标签。

Nov, 2023

通过包含1,500个测试案例的评估，我们在英语中全面评估了大型语言模型（LLMs）在推理组合关系方面的能力，旨在了解LLMs处理不同语言环境下的组合关系推理的鲁棒性和适应性。

Mar, 2024

通过调整数字的表示方式，使用NumeroLogic格式，我们为语言模型处理数字数据和执行算术运算的困难提供了解决方法，并改进了自然语言理解性能。

Mar, 2024

该研究提出了一种方法来研究Transformer语言模型内部如何表示数字数据，并使用该方法分析了ALBERT语言模型系列。通过主成分分析（PCA），我们提取这些模型用于表示数字和序数的令牌的学习嵌入，PCA结果显示不同大小、训练和初始化分开的ALBERT模型一致地学习使用变化最大的轴来表示各种数值概念的近似排序，数字及其文本对应部分分别在不同的簇中表示，但在2D空间中沿着相同的方向增长。我们的发现表明，纯粹用于建模文本的语言模型可以理解基本的数学概念，为与定量推理交叉的NLP应用开辟了新的发展路径。

Apr, 2024

大型语言模型在知识获取和统计推理方面取得了稳定进展，但在常识推理任务中仍存在局限性，纯统计学习难以应对其中的组合爆炸问题，更大并不总是更好，而且单纯追求统计改进只会加重正确答案与真正推理能力之间的危险混淆。

Apr, 2024

本研究解决了大型语言模型在处理数字问题时常出现错误的现象。我们通过实验表明，语言模型内部以十进制的每个数字的循环表示法来表示数字，而非简单的数值表示。这一发现有助于理解模型在数字推理任务中出现的错误模式，并为未来研究语言模型中的数字机制提供基础。

Oct, 2024