Apr, 2024

变压器作为传感器

PDF
TL;DR通过与有限转导器的关系，我们研究了变压器的序列到序列映射能力，并发现它们能够表达出令人惊讶的大类转导。我们使用 RASP 的变体作为中间表示形式，该编程语言旨在帮助人们 “像变压器一样思考”。我们将现有的布尔变体 B-RASP 扩展到序列到序列函数，并且表明它计算了一阶有理函数（如字符串旋转）。随后，我们引入两个新的扩展。B-RASP [pos] 允许在位置上进行计算（如复制字符串的前一半），并且包含所有一阶正则函数。S-RASP 添加了前缀和，它使得额外的算术运算成为可能（如字符串的平方），并且包含了所有一阶多正则函数。最后，我们展示了掩码平均硬注意力变压器可以模拟 S-RASP。我们结果的一个推论是变压器解码器是图灵完备的的新证明。
sequence-to-sequence mapping capacitytransformersfinite transducersraspturing-complete
发现论文，激发创造
  • 像 Transformer 一样思考

    本文提出了一种计算模型，将 Transformer-encoder 的基本组件 attention 和 feed-forward 计算映射到简单的原语中，并形成一种编程语言 RASP，用于编程解决可能由 Transformer 学习的任务，并演示了如何训练 Transformer 模仿 RASP 解决方案，并且利用该模型分析了所需图层和注意头数。

    Jun, 2021

  • 遮蔽硬关注变形器和布尔 RASP 准确识别无星语言

    Transformer 编码器通过硬注意力和严格的未来掩码来识别语言，其所识别的语言类是无星自由语言；添加位置嵌入可以扩展所识别的语言类到其他研究领域。通过布尔 RASP 技术，我们将 Transformer 与一阶逻辑、时间逻辑和代数自动机理论联系起来。

    Oct, 2023

  • 使用 RNN Seq2seq 模型学习跨序列转换和对齐

    本研究使用递归神经网络序列对序列 (RNN seq2seq) 模型，研究其在学习四种字符串转换任务（相同、反向、完全重复和指定输入重复）方面的能力，发现虽然关注度有助于学习，但是其结果仍存在显著局限性。此外本研究结果更好地说明了形式语言的复杂性层次结构，而不是字符串转移的层次结构。

    Mar, 2023

  • 基于无穷维度输入的序列到序列函数的转换器逼近与估计能力

    本文研究了 Transformer 网络作为具有无限维输入的序列到序列函数的逼近和估计能力，证明了当目标函数具有各向异性平滑性时，Transformer 可以通过其特征提取能力和参数共享属性避免维数爆炸，并证明了在输入发生变化时 Transformer 可以动态地估计和提取重要特征，并实现了与固定平滑度相似的收敛速度。这些理论结果支持了 Transformer 在高维数据上的实践成功。

    May, 2023

  • Transformer 是否是序列到序列函数的通用逼近器？

    本文证明了 Transformer 模型具有连续排列等变序列到序列函数的通用逼近性，并且使用位置编码绕过了排列等变性的限制，展示了 Transformer 可以普遍逼近任意的连续序列到序列函数。该文章的基础是对 Transformer 中自注意力和前馈层分别在模型中的不同作用，在分析的基础上，考虑了其他简单的自注意力层的替代方法并进行了实验性评估。

    Dec, 2019

  • 用循环神经网络进行序列传导

    本文介绍了一种基于递归神经网络的端到端，概率序列转换系统，该系统可以将任意输入序列转换为任意的有限离散输出序列，并在 TIMIT 语音语料库上提供了音素识别的实验结果。

    Nov, 2012

  • 像 Transformer 一样进行计数：将时间计数逻辑编译成 Softmax Transformers

    基于序列变换器的计算能力，提出了时序计数逻辑 Kt 和 C-RASP 变种，并证明它们可以编译为具有未限制输入大小的未来掩码软注意力变换器，从而形成了迄今为止已知的形式表达能力下界。

    Apr, 2024

  • 关于 Transformer 的计算能力及其对序列建模的启示

    这篇论文研究了变形金刚网络的计算能力与图灵完备性，得出了只有通过位置掩蔽而没有位置编码的变形金刚同样具有图灵完备性，而某些残差连接是必需的结论，并通过机器翻译和合成任务的实验说明了结果的实际应用。

    Jun, 2020

  • 基于 Transformer 网络的序列建模近似理论

    本文探讨了 Transformer 在逼近序列关系上的能力和结构属性，通过证明其 hypothesis 空间的普适逼近定理，得出了一种新的正则化概念，并对其逼近率进行了显式估计，进而揭示了其与传统序列建模方法之间的结构偏差。

    May, 2023

  • 基于 Transformer 与 RNN 的语音应用比较研究

    本文章研究了一种新兴的序列到序列模型 ——Transformer，并将它与传统 RNN 模型在 15 项 ASR、1 项多语言 ASR、1 项 ST 和 2 项 TTS 基准测试中进行了比较和分析，发现了各种训练技巧以及 Transformer 在各项任务中带来的显著性能优势，最终实验结果表明 Transformer 在 13/15 项 ASR 基准测试中比 RNN 具有惊人的优越性能。

    Sep, 2019