Jun, 2023

算术变换器中的长度泛化

PDF
TL;DR本文研究 transformers 在基本整数算术和泛化到比训练中出现的更长序列的两个挑战中的应对方法，发现相对位置嵌入能够实现简单任务的长度泛化，但是对于乘法而言失败，提出了训练集引导方法（priming），为训练集添加一些长序列以解决此问题，并证明了该方法的有效性。同时，讨论了 priming 在算术以外的潜在应用。
发现论文，激发创造
  • Transformer 模型可以实现长度概括，但不具备鲁棒性

    使用适当的数据格式和位置编码的组合，本研究首次展示了标准 Transformers 在能够外推到输入长度 2.5 倍的序列长度方面的成功，然而与内分布泛化不同，长度泛化仍然是脆弱的，受到随机权重初始化和训练数据顺序等因素的显著影响，导致不同随机种子之间存在较大差异。

    Feb, 2024

  • 从插值到外推：算术 Transformer 的完全长度概括

    通过实验和注意力分析，我们研究了 transformer 模型在学习算术算法（如加法和乘法）方面的固有能力，并确定了几个实现最佳长度泛化的关键因素。我们展示了 transformer 模型能够借助有针对性的注意力偏置来推广到长长度，并引入了注意力偏置校准（ABC）阶段，使模型能够自动学习适当的注意力偏置，我们将其与相对位置编码中的机制联系起来。我们证明使用 ABC，transformer 模型能够在某些算术任务上达到前所未有的完美长度广义。

    Oct, 2023

  • 变压器能够通过正确的嵌入进行算术运算

    通过在每个数字上添加编码其相对于数字起始位置的嵌入，解决了 transformers 在算术任务中表现较差的问题，并展示了该修复方法进一步提高性能的架构修改方法。通过解决位置问题，研究了 transformers 的逻辑推理能力，并发现通过单个 GPU 训练一天，仅使用 20 位数字，在 100 位加法问题上实现了高达 99% 的准确率的最新结果，并证明这种提高数字能力的方法也适用于其他多步骤推理任务，如排序和乘法。

    May, 2024

  • 显式编码结构对算术任务的长度泛化至关重要

    基于修改后的数字格式化和自定义位置编码，我们的方法允许 Transformer 在加法和乘法中以最多 5 位数的数字进行训练并推广到 50 位数，而无需使用更多的数据来处理更长的序列。

    Jun, 2024

  • 通过简单的算术任务研究变形金刚的限制

    研究了表现形式对于序列到序列的语言模型学习加减法算术任务的影响，发现表现形式对模型的准确性有很大影响；通过引入位置标记，模型可以准确地学习添加和减少 60 位数字。无论参数和训练示例数量如何，模型都不能学习与训练期间数字长度无关的加和规则。

    Feb, 2021

  • 位置描述对于 Transformer 算术很重要

    通过修改位置编码或者调整算术任务的表示方式来解决使用位置信息解决小数字算术问题时性能较差的问题，并在乘法和加法任务中展示了改进的效果。

    Nov, 2023

  • 任意长度的加法泛化

    本文介绍了一种新的训练方法，使得小型 Transformer 模型可以将两位数的加法推广到具有未知位数的数字，该方法模仿了一种常见的手动大数相加的技术，为我所知，这种方法以前没有在文献中探讨过，所有结果都可复现，相应的 R 代码可在 https://github.com/AGPatriota/ALGA-R/ 上获得。

    May, 2024

  • 小型 Transformer 的算术教学

    在不预训练的情况下，通过对训练数据进行简单的格式更改并使用包含中间步骤结果的思维链式数据进行训练，即便在完全缺乏预训练的情况下，也可以显著提高算术能力的准确性、样本复杂性和收敛速度。

    Jul, 2023

  • 通过任务提示改进 Transformer 的长度泛化

    使用任务提示的方法改善长度泛化问题，在经典的排序问题上验证了其有效性，并通过探测和可视化技术提出了模型学习行为的理论构建，进一步提高了模型在未知长度上的性能。

    Oct, 2023

  • 转换器可以学习哪些算法？长度泛化研究

    大型语言模型的新兴泛化特性方面已经有了惊人的发现，但在诸多简单推理任务（如算术和奇偶性等）上仍存在问题。本研究针对算法任务的长度泛化范围，通过提出一个统一的框架，阐述了 Transformer 模型在特定任务上表现出的能力和方式。

    Oct, 2023