May, 2024

变压器能够通过正确的嵌入进行算术运算

PDF
TL;DR通过在每个数字上添加编码其相对于数字起始位置的嵌入，解决了 transformers 在算术任务中表现较差的问题，并展示了该修复方法进一步提高性能的架构修改方法。通过解决位置问题，研究了 transformers 的逻辑推理能力，并发现通过单个 GPU 训练一天，仅使用 20 位数字，在 100 位加法问题上实现了高达 99% 的准确率的最新结果，并证明这种提高数字能力的方法也适用于其他多步骤推理任务，如排序和乘法。
transformersarithmetic tasksembeddingposition encodingnumeracy
发现论文，激发创造
  • 算术变换器中的长度泛化

    本文研究 transformers 在基本整数算术和泛化到比训练中出现的更长序列的两个挑战中的应对方法，发现相对位置嵌入能够实现简单任务的长度泛化，但是对于乘法而言失败，提出了训练集引导方法（priming），为训练集添加一些长序列以解决此问题，并证明了该方法的有效性。同时，讨论了 priming 在算术以外的潜在应用。

    Jun, 2023

  • 利用局部注意力和网格样问题表示发现基本计算系统的 Transformer 模型

    本文提出一种基于通用 Transformer 的深度学习模型，通过发现高效的算数程序，利用外部的网格状记忆进行多位数的加法计算，并且发掘了人类类似的计算策略，如位值对齐。

    Jul, 2022

  • 通过简单的算术任务研究变形金刚的限制

    研究了表现形式对于序列到序列的语言模型学习加减法算术任务的影响，发现表现形式对模型的准确性有很大影响；通过引入位置标记，模型可以准确地学习添加和减少 60 位数字。无论参数和训练示例数量如何，模型都不能学习与训练期间数字长度无关的加和规则。

    Feb, 2021

  • 位置描述对于 Transformer 算术很重要

    通过修改位置编码或者调整算术任务的表示方式来解决使用位置信息解决小数字算术问题时性能较差的问题，并在乘法和加法任务中展示了改进的效果。

    Nov, 2023

  • 如何利用数字嵌入来表示数字？

    本研究探索数学先验的使用，通过计算聚合的数字嵌入，将其明确地融入到转换器模型中，并通过添加特殊标记或引入附加损失函数来实现。我们评估了这种明确聚合的有效性，分析了其优势和不足，并讨论了更好地从这种方法中受益的未来方向。我们的方法虽然简单，但与任何预训练模型兼容，只需要几行代码，并已公开可用。

    Jul, 2024

  • 小型 Transformer 的算术教学

    在不预训练的情况下，通过对训练数据进行简单的格式更改并使用包含中间步骤结果的思维链式数据进行训练，即便在完全缺乏预训练的情况下，也可以显著提高算术能力的准确性、样本复杂性和收敛速度。

    Jul, 2023

  • 理解 Transformer 中的加法

    这篇论文通过深入分析一个层次的 Transformer 模型在整数加法训练中的使用，揭示了该模型将任务划分为并行的、特定于数字的流，并对不同的数字位置采用不同的算法。研究还发现模型开始计算较晚但执行较快，识别并解释了一个稀有但损失较高的使用案例。总体上，该模型的算法得到了详细解释，这些发现通过严格的测试和数学建模得到了验证，对于机制解释性、人工智能安全性和对齐等广泛领域的工作具有重要贡献。我们的方法为分析更复杂的任务和多层 Transformer 模型打开了大门。

    Oct, 2023

  • 显式编码结构对算术任务的长度泛化至关重要

    基于修改后的数字格式化和自定义位置编码，我们的方法允许 Transformer 在加法和乘法中以最多 5 位数的数字进行训练并推广到 50 位数，而无需使用更多的数据来处理更长的序列。

    Jun, 2024

  • Transformer 模型可以实现长度概括，但不具备鲁棒性

    使用适当的数据格式和位置编码的组合，本研究首次展示了标准 Transformers 在能够外推到输入长度 2.5 倍的序列长度方面的成功，然而与内分布泛化不同，长度泛化仍然是脆弱的，受到随机权重初始化和训练数据顺序等因素的显著影响，导致不同随机种子之间存在较大差异。

    Feb, 2024

  • 使用 Transformer 和无歧义表征自动求解算术问题

    本文提出了使用 Transformer 网络将数学问题转化为等价的前缀、中缀和后缀表达式，并使用预训练的通用文本语料库进行训练以提高性能，与以往最先进的方法相比，最好的神经网络方法可将准确率平均提高近 10%。

    Dec, 2019