通过调整数字的表示方式，使用 NumeroLogic 格式，我们为语言模型处理数字数据和执行算术运算的困难提供了解决方法，并改进了自然语言理解性能。

Mar, 2024

本文介绍了一种新的自动解决算术词问题的方法，它是第一种能够处理多步骤和多操作算术问题的算法方法，不依赖于附加的注释或预定义的模板。作者提出了一种表达式树的理论，可以用于表示和评估目标算术表达式，并将其唯一分解为多个分类问题；然后，作者采用受限推理框架将这些问题组合成表达式树，并通过 “数量模式” 提升模型表现，实验结果表明，该方法在算术词问题的基准数据集上实现了业界领先的性能。

Aug, 2016

最近的预训练研究表明，现代大型语言模型（LLMs）具备有效学习算术运算的能力。然而，尽管承认数字顺序在算术计算中的重要性，当前的方法主要依赖顺序、逐步的方法来教授 LLMs 算术，导致一个结论，即获得更好的性能需要细粒度的逐步操作。与传统方法不同，我们的工作引入了一种新颖的策略，不仅重新评估了数字顺序，优先考虑了最低有效位的输出，而且还采用了逐步的方法大幅减少了复杂性。我们在一系列全面的实验中开发并应用了这种方法。与先前的最先进方法相比，我们的研究结果显示了整体准确性的提升，同时在训练过程中仅使用了通常使用的三分之一的标记。为了方便复制和进一步研究，我们已公开提供了我们的代码和数据集，网址为 https://anonymous.4open.science/r/RAIT-9FB7/。

Mar, 2024

本文研究如何通过分解数字来提高 Transformer 语言模型执行算术运算的准确性，称之为 “Calculon”，并将其与 GPT-3 在加减乘三个运算任务上进行了对比，结果表明在五位数加法任务上，Calculon 的准确率提高了 63％。

Apr, 2023

这篇论文讨论了数据压缩中两种熵编码方法的优缺点，并介绍了一种新的方法 —— 非对称数字系统熵编码，它可以在保证压缩率的同时提高解码速度，相当于在速度和效率之间找到了平衡点。

Nov, 2013

探索用语言模型建模数字的不同策略，提出使用连续概率密度函数来建模开放词汇中数字的新型神经架构，并在临床和科学数据集上进行评估表明使用分层模型可显著提高困惑度指标，连续概率密度函数模型相较于其他策略可分别将平均绝对百分比误差降低 18％和 54％。

May, 2018

本研究提出基于 DistilBERT、XLM 和 BERT 的多语言探究任务，探讨自然语言数字系统中数值数据的组合推理证据，并发现这些预训练模型嵌入中编码的信息足以支持合法性判断，但一般不适用于值比较。

Oct, 2020

当儿童进入小学阶段时，他们对数字的有序结构的理解从记忆的前 50-100 个数字的计数列表转变为了了解后继函数并理解可数无穷的过程中。我们研究了两个神经网络模型中的这种发展变化，这两个模型通过学习对于 N∈(0, 98) 的一对（N, N+1）上的后继函数来训练。第一个模型使用输入和输出值的独热编码，对应于儿童记忆计数列表，而第二个模型使用基于位置的编码，对应于儿童学习数字数值命名的语言规则。位置权重模型显示出在十进制边界上的可表示相似性的下降趋势。越过十位边界的计数可以被理解为在二维空间中的矢量操作，其中具有相同十位数的数字被以线性可分隔的方式组织在一起，而具有相同个位数的数字则被分组在一起。课程学习模拟表明，在正在发展的儿童数值环境中，较小的数字的表征在学习较大的数字时仍然变得更加精确。这些模型为将来使用递归架构超越学习后继函数并更一般地模拟计数过程奠定了基础，并指示了对理解可数无穷意味着什么的更深入的理解。

Nov, 2023

本文研究大规模中介设备的预训练，在使用来自可比文本，特别是大规模平行新闻的远程监督的情况下将显式分解建模应用于自然语言理解系统。作者称使用这种中间预训练可以更容易地开发强大的显式分解模型。例如，该模型在语义分析方面取得了 20％至 30％的改进，并用于构建名为 DecompEntail 的新型显式分解问答系统。

Oct, 2022

RevOrder 是一种新颖的技术，通过颠倒输出数字来改善大型语言模型中的算术运算，在加法、减法和 n 位乘 1 位（nD 乘 1D）乘法任务中实现了关键的 CSID 指标显著降低。RevOrder 不仅在基本算术运算中达到了完美的准确性，而且还显著提升了 LLM 在除法任务中的性能，特别是在传统模型难以应对的大数情况下。将 RevOrder 应用于 GSM8K 数学任务的 LLMaMA2-7B 模型的微调中，引发了 46% 的计算错误减少和总分数从 41.6 提高到 44.4 的显著改进。

Feb, 2024