Mar, 2020

SAC: 通过稀疏自适应连接加速和结构化自注意力

PDF
TL;DR本文介绍 Sparse Adaptive Connection（SAC）方法，将输入序列视为图，并通过构建关注边，以改进任务特定性能，优化了自注意力机制。通过在图形表示学习和图像分类中实施的广泛实验，证明了 SAC 在减少内存成本的同时，可以与最先进的模型竞争。
self-attention mechanismsparse adaptive connectionlong inputsgraph representation learningmemory cost
发现论文，激发创造
  • 基于稀疏注意力的代码分类神经网络

    通过使用稀疏注意力机制的神经网络，我们介绍了一种名为 SACC 的方法用于代码分类任务，其中把源代码分为子树序列，并使用递归神经网络编码以及 Transformer 模型进行分类，证明了其在代码分类任务中的有效性和效率。

    Nov, 2023

  • 基于内容的稀疏注意力路由转换网络

    本研究提出了 Routing Transformer，它结合了疏密注意力和本地、时间疏松注意力的建模灵活性和效率。该模型具有基于在线 K 均值的稀疏路由模块，将注意力的总体复杂度从 $O (n^2d)$ 降至 $O (n^{1.5} d)$，并在 Wikitext-103 和 ImageNet-64 上表现出了良好的性能。

    Mar, 2020

  • 结构感知稀疏注意力模型用于理解长编程语言

    本文提出了一种名为 SASA 的结构感知稀疏注意机制用于长代码理解任务。SASA 采用 top-k 稀疏关注机制和基于抽象语法树的结构感知关注机制，能够高效降低计算成本并处理长代码，实现了优于竞争基准模型的表现。

    May, 2022

  • 卷积自注意力网络

    本篇论文介绍了一种新颖的卷积自注意力网络，通过引入多头注意力机制，加强了邻近元素之间的依赖关系，并能够对各个注意力头提取的特征之间的交互进行建模，用于机器翻译任务中能有效提高自注意力网络的本地性，实验证明该方法优于常用的 Transformer 模型和其他已有的模型，并且没有更多的额外参数。

    Apr, 2019

  • 交错稀疏自注意力在语义分割中的应用

    本文提出一种称为交错稀疏自注意力的方法，通过将密集的亲和力矩阵因子分解为两个稀疏的亲和力矩阵，来提高自我注意机制在语义分割中的效率。

    Jul, 2019

  • SALO: 一种高效的空间加速器，支持长序列的混合稀疏注意机制

    本文提出了一种名为 SALO 的加速器，能够使得 Transformer 等注意力机制在处理长序列时具有更好的性能，并通过实验证明 SALO 相比于典型工作负载下的 GPU 和 CPU 实现，分别具有 17.66 倍和 89.33 倍的加速比。

    Jun, 2022

  • 简单无参数的自注意力近似

    我们提出了一种不需要训练参数的自注意力近似方法 SPSA，该方法具有线性复杂度，结合卷积捕获全局空间特征，并在图像分类和目标检测任务中进行了大量实验验证其有效性。

    Jul, 2023

  • 学习视觉 Transformer 的相关结构

    我们引入了一种新的注意力机制，称为结构自注意力（StructSA），它利用注意力的键 - 查询交互中自然产生的丰富相关模式。使用结构自注意力作为主要构建模块，我们开发了结构视觉转换器（StructViT），并在图像和视频分类任务上评估其有效性，在 ImageNet-1K，Kinetics-400，Something-Something V1＆V2，Diving-48 和 FineGym 数据集上取得了最先进的结果。

    Apr, 2024

  • SASL: 面向神经网络加速的显著性自适应稀疏学习

    本文提出了一种基于 saliency 的 CNN 精度和资源消耗综合考虑的自适应稀疏学习方法（SASL），通过调整正则化强度实现更优化的结构稀疏网络，实验结果表明在 ILSVRC-2012 数据集上，SASL 可以将 ResNet-50 的 FLOP 降低 49.7％，同时只有 0.39％的 top-1 准确度下降和 0.05％的 top-5 准确度下降。

    Mar, 2020

  • SCCA：长上下文语义扩展的偏移交叉块注意力

    通过 Shifted Cross Chunk Attention (SCCA) 结合 Dilated Attention (DA) 和 Dilated Neighborhood Attention (DNA) 的方法，本研究在语言建模实验中使用不同的 SCCA 模式和 SCCA 与 SDA 的组合，有效地将大型语言模型（LLMs）扩展到更长的上下文，并与当前稀疏注意力相比提供了一个插拔式微调方法，以扩大模型上下文，并与大多数现有技术兼容。

    Dec, 2023