Oct, 2023
从插值到外推：算术Transformer的完全长度概括
From Interpolation to Extrapolation: Complete Length Generalization for
Arithmetic Transformers
TL;DR通过实验和注意力分析，我们研究了transformer模型在学习算术算法（如加法和乘法）方面的固有能力，并确定了几个实现最佳长度泛化的关键因素。我们展示了transformer模型能够借助有针对性的注意力偏置来推广到长长度，并引入了注意力偏置校准（ABC）阶段，使模型能够自动学习适当的注意力偏置，我们将其与相对位置编码中的机制联系起来。我们证明使用ABC，transformer模型能够在某些算术任务上达到前所未有的完美长度广义。