May, 2024

注意力作为一个 RNN

PDF
TL;DRTransformers 在序列建模中取得了重大突破，但计算开销较大，本文提出了一种新的高效计算 attention 的方法，引入了名为 Aaren 的 attention-based 模块，使其能够像 Transformers 一样并行训练，同时像传统的 RNN 一样高效地更新新的 tokens，从而在多个序列问题上取得了可比较的性能，同时具有更高的时间和内存效率。
transformersattentionsequence modellingaarencomputational efficiency
发现论文，激发创造
  • 门控循环神经网络发现注意力

    近期的研究发现具备线性循环层和前馈路径的带有乘性门控模式的循环神经网络（RNNs）能够实现线性自注意力，这是 Transformer 的主要组成部分之一。通过对一组训练过的 RNNs 进行逆向工程，我们发现在实践中梯度下降法会找到我们构建的机制。这项研究结果强调了神经网络中乘性交互的重要性，并暗示某些 RNNs 可能在内部意外地实现了注意力机制。

    Sep, 2023

  • Transformers 是 RNN：具有线性注意力的快速自回归 Transformers

    通过使用线性核特征图将自注意力表示为线性点积，并利用矩阵积的结合律特性将复杂性从 O (N^2) 降至 O (N)，我们的线性变压器实现比循环神经网络快 4000 倍，但在自回归预测上达到了与基本变压器类似的性能。

    Jun, 2020

  • 硬件高效训练的门控线性注意力变换器

    通过引入数据依赖的门控机制，我们开发了一种硬件高效的并行形式，使得门控线性注意力（GLA）Transformers 在适度规模的语言建模中表现竞争力，并在训练速度上与基于 CUDA 优化的 FlashAttention-2 相媲美。

    Dec, 2023

  • R-Transformer：加强循环神经网络的 Transformer 模型

    本文提出了 R-Transformer 模型，结合了 RNN 和多头注意力机制的优点，同时避免了它们各自的缺点，能够在不使用位置嵌入的情况下有效捕捉序列中的本地结构和全局长期依赖关系。通过广泛的实验评估表明，在大多数任务中，R-Transformer 优于最先进的方法。

    Jul, 2019

  • 近无限背景下的分块 Transformer 环形注意力

    传统的 Transformer 架构由于内存需求限制了其处理长序列的能力，而我们提出的 Ring Attention 方法通过分块计算自注意力和重叠通信的方式，提高了内存利用效率，允许处理更长的输入序列，从而消除了设备内存的限制，同时在语言建模任务上取得了显著的性能提升。

    Oct, 2023

  • 应用注意力机制的 Transformer 模型进行下一帧和时间序列预测

    测试和评估在时间序列数据上应用 Transformer 模型的有效性，通过调整超参数、预处理数据、应用降维或卷积编码等方式来解决异常检测、上下文感知和空间复杂性问题，同时探索修改现有解决方案以实现更高性能和学习广义知识的方法。

    Aug, 2021

  • 将预训练的 Transformers 微调为 RNN

    本研究旨在将预训练 Transformer 转换为其高效循环对应物，在维持准确性的同时提高效率，并提出一种交换再微调的流程。

    Mar, 2021

  • 面向条件序列处理的聚焦分层循环神经网络

    提出了使用基于注意力机制的人工神经网络（RNNs）来实现序列建模任务的机制，它允许 RNNs 关注需要的输入的关键部分。通过使用一个多层的有条件序列编码器，读取一个令牌并对其进行离散的决策，来控制信息流入以上层。此方法在几种任务类型上进行评估，包括各种属性的合成任务以及大规模的问答任务，并且相对于已有的基准模型，都得到了一致的性能改进。

    Jun, 2018

  • 人类句子加工：循环或注意力？

    通过比较基于循环神经网络和 Transformer 架构的语言模型在人类语言处理方面的能力，本文揭示了 Transformer 在解释自定步调阅读时间和阅读过程中神经活动方面优于 RNN，并挑战了人类句子处理涉及循环和即时处理的普遍理念，并提供了线索检索的证据

    May, 2020

  • 基于注意力的 RNN 模型在计算机视觉中的应用调查

    本文探讨使用循环神经网络中 attention 机制解决序列到序列问题的方法，并介绍相关的应用于计算机视觉中的算法并验证其优越性，同时也提出了未来的研究方向。

    Jan, 2016