Jun, 2022

SALO: 一种高效的空间加速器，支持长序列的混合稀疏注意机制

PDF
TL;DR本文提出了一种名为 SALO 的加速器，能够使得 Transformer 等注意力机制在处理长序列时具有更好的性能，并通过实验证明 SALO 相比于典型工作负载下的 GPU 和 CPU 实现，分别具有 17.66 倍和 89.33 倍的加速比。
transformersself-attentionsparse attentiondata scheduleraccelerator
发现论文，激发创造
  • SAC: 通过稀疏自适应连接加速和结构化自注意力

    本文介绍 Sparse Adaptive Connection（SAC）方法，将输入序列视为图，并通过构建关注边，以改进任务特定性能，优化了自注意力机制。通过在图形表示学习和图像分类中实施的广泛实验，证明了 SAC 在减少内存成本的同时，可以与最先进的模型竞争。

    Mar, 2020

  • Sparser 更快且更简洁：用于长程 Transformer 的高效稀疏注意力机制

    通过引入 SPARSEK Attention，将自注意机制的计算和内存障碍降到最低，提供线性时间复杂度和恒定的内存占用，实现了更高效的长序列处理和管理。

    Jun, 2024

  • 探索基于注意力图复用的高效 Transformer 神经网络

    本文研究了基于 Transformer 的自注意力（SA）提取序列特征方案，在注意力地图重用方面做了全面的研究，并证明了其在加速推理方面具有显著的优势。实验结果表明，注意力地图重用方法在 CPU 和 GPU 平台上可以减少推理延迟。

    Jan, 2023

  • LSG 注意力机制：将预训练的 Transformer 推广到长序列

    本研究提出了 LSG attention 机制以解决 Transformer 模型自注意力机制中违反 $O (n^2)$ 的限制，同时还提出了相应工具和方法用于新模型的训练和现有模型的调整。实验结果表明，LSG attention 机制在长文本的分类和摘要任务中效率优秀，也可以用于有效地扩展预训练模型的序列长度。

    Oct, 2022

  • 大规模序列中通过稀疏闪存注意力加速因果注意力

    我们扩展了 FlashAttention 以容纳一大类稀疏性注意力模式，其中包括关键 / 查询删除和基于哈希的注意力。即使具有相对较低的稀疏度，我们的方法在序列长度增加时可见地改进 FlashAttention 的性能。不牺牲困惑度的情况下，我们将 transformer 语言模型的训练速度分别提高了 2.0 倍和 3.3 倍，对于长度为 8k 和 16k 的序列。

    Jun, 2023

  • 线性注意力序列并行

    本文介绍了一种基于线性注意力的语言模型的高效序列并行化方法 ——LASP，通过设计高效的点对点通信机制以及融合核函数和中间状态缓存来使其在 GPU 集群上实现硬件友好且能与批量并行方法兼容，从而在大规模集群上具有更高的并行化效率和可用性。

    Apr, 2024

  • 基于模拟退火的 DNN 加速器循环顺序调度器 SALSA

    本研究提出了一种名为 SALSA 的快速双引擎调度程序，以支持 DNNs 的最优执行时间，并结合模拟退火的策略解决了循环排序设计空间大小的动态性问题。SALSA 在 5 种不同的 DNN 上与两个 SotA 调度器 LOMA 和 Timeloop 进行了广泛的基准测试，平均而言，与 LOMA 相比，SALSA 的能源降低了 11.9％，搜索速度提高了 1.7 倍，与 Timeloop 相比能源降低了 7.6％ ，搜索速度提高了 24 倍。

    Apr, 2023

  • 利用稀疏变换器生成长序列

    本文介绍了一种称为 Sparse Transformers 的神经网络架构，该架构通过稀疏的注意力矩阵因式分解和其他一些技术，可以更有效地处理长序列等任务，并在 Enwik8，CIFAR-10，和 ImageNet-64 等基准数据集上创造出新的最优表现。

    Apr, 2019

  • 短 - 长卷积有助于高效硬件线性注意力集中于长序列

    通过采用分层和分块思想，我们提出了 CHELA（硬件高效的短长卷积与线性注意力）来解决线性注意力在因果设置下仅保持在理论层面的问题，同时通过替换状态空间模型（SSMs）为短长卷积，实现了稳定的 SSMs，保持真正的线性复杂度。通过对 Long Range Arena 基准和语言建模任务的综合实验，我们证明了所提方法的有效性。

    Jun, 2024

  • SASL: 面向神经网络加速的显著性自适应稀疏学习

    本文提出了一种基于 saliency 的 CNN 精度和资源消耗综合考虑的自适应稀疏学习方法（SASL），通过调整正则化强度实现更优化的结构稀疏网络，实验结果表明在 ILSVRC-2012 数据集上，SASL 可以将 ResNet-50 的 FLOP 降低 49.7％，同时只有 0.39％的 top-1 准确度下降和 0.05％的 top-5 准确度下降。

    Mar, 2020