线性变压器及其递归和自指扩展的实际计算能力

EMNLPOct, 2023

线性变压器及其递归和自指扩展的实际计算能力

Practical Computational Power of Linear Transformers and Their Recurrent and Self-Referential Extensions

Kazuki Irie, Róbert Csordás, Jürgen Schmidhuber

TL;DR通过研究具有线性化注意力的自回归 Transformer，即线性 Transformer（LT）或快速权重编程器（FWP），我们发现许多应用于标准 Transformer 的知名结果可以直接转移到 LTs / FWPs，并证明了最近提出的 FWP 扩展成功地克服了 LT 的某些限制，如在奇偶性问题上的泛化。

Abstract

Recent studies of the computational power of recurrent neural networks (RNNs) reveal a hierarchy of RNN architectures, given real-time and finite-precision assumptions. Here we study auto-regressive Transformers with linearised attention, a.k.a. →

recurrent neural networks linear transformers fast weight programmers self-attention networks formal language recognition

发现论文，激发创造

使用循环快速权重编程器超越线性变压器

通过在快速和慢速神经网络中加入循环来探索新的变化形式，提出一种新颖的循环快速权重编程模型（RFWPs），并在两个合成算法任务，语言模型和 Atari 2600 2D 游戏环境中评估了模型的效果。

Jun, 2021

线性变换器秘密是快速权重编程器

本研究发现线性化自注意力机制与 90 年代早期的快速权重控制器存在正式等价，提出了一种基于增量规则编程指令的快速权重编程器，用以克服近期线性化 softmax 注意力变体的存储容量限制，以及提高动态学习率的计算效率，在合成检索问题以及标准机器翻译和语言模型任务上均获得明显优势。

Feb, 2021

Transformers 是 RNN：具有线性注意力的快速自回归 Transformers

通过使用线性核特征图将自注意力表示为线性点积，并利用矩阵积的结合律特性将复杂性从 O (N^2) 降至 O (N)，我们的线性变压器实现比循环神经网络快 4000 倍，但在自回归预测上达到了与基本变压器类似的性能。

Jun, 2020

将预训练的 Transformers 微调为 RNN

本研究旨在将预训练 Transformer 转换为其高效循环对应物，在维持准确性的同时提高效率，并提出一种交换再微调的流程。

Mar, 2021

像 Transformer 一样思考

本文提出了一种计算模型，将 Transformer-encoder 的基本组件 attention 和 feed-forward 计算映射到简单的原语中，并形成一种编程语言 RASP，用于编程解决可能由 Transformer 学习的任务，并演示了如何训练 Transformer 模仿 RASP 解决方案，并且利用该模型分析了所需图层和注意头数。

Jun, 2021

循环线性变换

通过引入循环替代方案以解决 transformer 自注意机制中的两个局限，本文提出了一种能够以较低成本进行推理并有效利用长程依赖的 transformer 自注意机制替代方法，在强化学习问题中实现了性能的提升。

Oct, 2023

RWKV：为 Transformer 时代重新设计 RNN

本文提出了一种名为 Receptance Weighted Key Value（RWKV）的新型模型体系结构，它将 Transformer 的并行训练与 RNN 的高效推理相结合，并利用了线性注意机制，使模型既可以被阐释为 Transformer，也可以被阐释为 RNN，从而在训练期间并行计算，并在推理期间保持计算和记忆的复杂度恒定，从而成为第一个可扩展到数十亿参数的非 Transformer 架构，实验表明，RWKV 的表现与同样大小的 Transformer 相当，在序列处理任务中为权衡计算效率和模型性能迈出了重要的一步。

May, 2023

可训练前馈核线性自注意力近似

本文旨在将可训练的核方法的思想扩展到逼近 Transformer 架构的自注意机制，以实现更快的计算和更高的准确率。

Nov, 2022

实现长期时间序列预测：特征、模式和分布

本论文讨论了长期时间序列预测 (LTTF) 中的 Transformer 模型，提出了一种有效的基于 Transformer 的模型 Conformer，采用编码器 - 解码器架构和正则化流派生的模块进一步提高信息利用率，并显式地建模时间序列数据中的互系列相关性和时间动态以加强下游自我关注机制，实验表明 Conformer 模型在 LTTF 中优于现有的方法，并可生成可靠的预测结果与不确定性量化。

Jan, 2023

LeaPformer：通过学习比例实现线性变压器的自回归和同时任务

通过使用基于位置的重加权函数，我们提出了 Learned Proportions (LeaP) 和 LeaPformers 模型，通过依赖于比例序列重加权的方法和动态比例生成模块，实现了更灵活的注意力集中模式，成功应用于线性化变压器模型，在多个任务上达到了最佳质量和吞吐量的平衡，取得了竞争性的结果。

May, 2024