May, 2024

高效多维度顺序建模：LightNet 的一次高效扫描

PDF
TL;DR通过识别多维数据模型中的效率问题，本文提出了一种高效的替代性线性回归方法以解决此问题，并基于这种新的回归方法开发了名为 LightNet 的高效多维顺序建模框架。此外，我们提出了两种新的多维线性相对位置编码方法（MD-TPE 和 MD-LRPE），以增强模型在多维场景中识别位置信息的能力。通过包括图像分类、图像生成、双向语言建模和自回归语言建模在内的各种任务的实证评估，我们展示了 LightNet 的有效性，表明其作为多维顺序建模的一种多功能高效解决方案的潜力。
linear attentionmulti-dimensional sequence modelingsequential scanningmulti-dimensional datamulti-dimensional sequential modeling
发现论文，激发创造
  • 当线性注意力遇上自回归解码：朝着更有效和高效的线性化大型语言模型

    通过结合线性注意力和推测解码，我们对现有线性注意力方法在自回归大语言模型中的功效进行了全面研究，并引入了一种增强的线性化语言模型，实验证明其在训练和生成过程中比先前的线性注意力方法更有效率。

    Jun, 2024

  • 硬件高效训练的门控线性注意力变换器

    通过引入数据依赖的门控机制，我们开发了一种硬件高效的并行形式，使得门控线性注意力（GLA）Transformers 在适度规模的语言建模中表现竞争力，并在训练速度上与基于 CUDA 优化的 FlashAttention-2 相媲美。

    Dec, 2023

  • 不同长度，匀速进行：高效语言建模与闪电注意力

    我们提出了闪电注意力（Lightning Attention），这是第一个在固定的内存消耗下保持不同序列长度的训练速度恒定的线性注意力实现。

    May, 2024

  • 线性时间变压器的潜在注意力

    在传统的 transformer 模型中，标准的 attention 机制的时间复杂度随着序列的长度呈二次方增长。本研究提出了一种基于潜在向量定义注意力的方法，将时间复杂度降低为随序列长度线性增长。我们的 “Latte Transformer” 模型可以在双向和单向任务中使用，通过因果版本可以实现在推理过程中进行语言生成任务的记忆和时间高效的循环实现。与标准 transformer 相比，标准的下一个记号预测的时间复杂度与序列长度成线性关系，而 Latte Transformer 只需常数时间计算下一个记号。我们方法的实证表现与标准 attention 相当，但允许在标准 attention 不可行的背景窗口范围内进行扩展。

    Feb, 2024

  • 通过强制单调对齐实现在线和线性时间注意力

    研究提出一种可用于在线设置中，使得注意力机制在线性时间内计算的可微分方法，- 该方法通过学习单调对齐来解决软注意机制在线性时间复杂度下难以实现的问题，并在句子摘要、机器翻译和在线语音识别领域实现了有竞争力的结果。

    Apr, 2017

  • 线性复杂度语言模型的尺度定律

    本研究通过研究线性复杂度语言模型的扩展性建立了基础，并对三种高效的线性架构进行了扩展行为的分析。结果显示，现有的线性复杂度语言模型在扩展能力、语言熟练度和知识保留方面与传统基于 transformer 的模型相似。

    Jun, 2024

  • 一种用于序列建模的轻量级循环网络

    本文介绍了一种称为 LRN 的轻量级循环神经网络，它使用输入和遗忘门来处理长时间的依赖性以及梯度消失和爆炸，并且可以作为替代现有循环单元的可落地的解决方案，该方法将计算量从循环中转移至外部，并与自我注意力网络紧密连接。通过六项自然语言处理任务的广泛实验证明，使用 LRN 能够获得最高的运行效率，而且模型性能几乎没有损失。

    May, 2019

  • 闪电关注 - 2：在大型语言模型中处理无限序列长度的免费午餐

    该论文介绍了 Lightning Attention-2，首个能实现线性注意力的理论计算优势的线性注意力实现方法，通过利用平铺技术和 GPU 硬件，充分发挥其在不同模型尺寸和序列长度上的训练和推理速度的一致性，并且比其他注意力机制更快。

    Jan, 2024

  • 精简注意力：面向 Transformer 解码阶段的硬件感知可扩展注意力机制

    LeanAttention 是一种可扩展的自注意力计算技术，通过重新设计解码阶段的执行流程，将自注意力机制的实现扩展到具有挑战性的长上下文长度情况，以并行计算的方式提供 2.6 倍的平均注意力执行加速和最多 8.33 倍的速度提升。

    May, 2024

  • LILE: 使用 Transformer 的双重注意力网络进行组织病理学资料检索前深入查看

    提出了一种使用自注意力作为额外损失项的新架构，以在联合潜在空间中表示图像和文本；在 MS-COCO 和 ARCH 两个基准数据集上进行的实验结果表明，该方法具有很好的效果。

    Mar, 2022