本文研究如何通过分解数字来提高 Transformer 语言模型执行算术运算的准确性，称之为 “Calculon”，并将其与 GPT-3 在加减乘三个运算任务上进行了对比，结果表明在五位数加法任务上，Calculon 的准确率提高了 63％。

Apr, 2023

改变语言模型的词汇表，而不是架构，可以更好地处理数字；在预测掩码数字和数值事实估计方面具有相似的性能，这要归功于仔细设计的标记化方案。

Oct, 2023

通过研究变压器在简单数据生成过程上的行为，我们探讨了词汇标记的理论视角，发现词汇标记对于变压器模型的训练是必要的，并验证了合适的词汇标记可以使变压器模型在学习 k 阶马尔可夫源的概率时达到近乎最优的结果。

Apr, 2024

介绍了大型语言模型（LLMs）在移动健康感知等人类中心任务中的使用，并通过案例研究证明了目前流行的 LLMs 对于时间数据的分词处理存在错误，提出了解决方案如轻量级嵌入层调整和多模态适配器来弥合模态差异。该论文强调了语言模型在处理输入细微差别时无法产生有意义的输出。

Sep, 2023

在不预训练的情况下，通过对训练数据进行简单的格式更改并使用包含中间步骤结果的思维链式数据进行训练，即便在完全缺乏预训练的情况下，也可以显著提高算术能力的准确性、样本复杂性和收敛速度。

Jul, 2023

研究表明，大型语言模型在将读写能力转化为计算能力方面存在翻译难题，但通过对所描述的四个复杂数据集的统计分析，结合不能通过简单规则编码或记忆的算术操作，可以推断大型语言模型具备对数据分组 / 枢轴分类求和、推导相关性、演绎特征权重以及使用线性回归预测海量数据的能力。

Jan, 2023

语言模型标记化与性能之间的关系是一个开放的研究领域。我们研究了不同标记化方案如何影响西班牙语复数的数一致性。我们发现，形态对齐标记化与其他标记化方案的表现相似，即使在对训练过程中不会进行这种标记化的单词人工引导下。我们还进行了探索性分析，显示了不同复数标记化的语言模型嵌入在嵌入空间中具有类似的分布，最大化区分单数名词和复数名词的嵌入轴线。我们的结果表明，形态对齐标记化是一种可行的标记化方法，现有模型已经对一些形态模式进行了泛化。然而，我们的结果表明形态标记化并不是性能的严格要求。

Mar, 2024

基于大型语言模型的令牌划分漏洞的研究，提出了对模型进行攻击的对抗性数据集（ADT），通过挑战语言模型对输入的划分，揭示令牌划分对模型性能的重要影响，并为改善语言模型能力提供优化划分过程和算法的研究方法。

May, 2024

研究了表现形式对于序列到序列的语言模型学习加减法算术任务的影响，发现表现形式对模型的准确性有很大影响；通过引入位置标记，模型可以准确地学习添加和减少 60 位数字。无论参数和训练示例数量如何，模型都不能学习与训练期间数字长度无关的加和规则。

Feb, 2021

该研究调查了语言模型在计算预测和问题解决能力方面的应用，以及其在进行算术计算和内部信息处理方面的推广能力。通过使用二进制加法和乘法作为测试样本，该研究成功地训练了一个轻量级语言模型，并进行了一系列实验以探究其外推能力和内部信息处理过程。研究结果支持了该假设，即语言模型在适当的内部表示映射后，计算发生在数值空间中，其工作类似于一个编码 - 回归 - 解码机器。

Aug, 2023