AAAIJan, 2022

注意力机制的快速蒙特卡罗近似

PDF
TL;DR引入 Monte-Carlo Attention（MCA），一种随机化逼近方法，旨在减少 Transformer 架构中的自注意机制的计算成本，并通过近似矩阵乘法对输入令牌进行编码，使得计算低关注度的输入令牌时具有弛容性，从而降低了注意力复杂度并提高了模型的精确性。
monte-carlo attentioncomputational cost reductionself-attention mechanismstransformer architectureserror bounds
发现论文，激发创造
  • 高精度和粗粒度混合自注意力机制用于高效 BERT

    通过 FCA 算法实现对信息量有效的细粒度计算单元和无信息量的粗粒度计算单元的混合自注意力机制，提升了 Transformer 模型在计算上的效率，同时在多个自然语言处理任务中展现出与原模型相当的性能。

    Mar, 2022

  • 多分辨率分析 (MRA) 用于近似自注意力

    利用 Multiresolution Analysis 中的 Wavelets 概念构建一种高效的自我关注模型，同时在短序列和长序列的 NLP 任务上均表现优异。

    Jul, 2022

  • 基于注意力头的注意力混合模型：逐标记选择注意力头

    本文提出了一种新的神经网络结构 MoA （即 Mixture of Attention Heads），它结合了 Mixture-of-Experts 和 Multi-head Attention 机制，通过动态地选择 Attention Heads 实现了条件计算，有效提高了多个自然语言处理任务的性能，并提供了一种新的模型可解释性视角。

    Oct, 2022

  • StochCA：利用交叉注意力开发预训练模型的新方法

    利用大规模预训练模型进行优化任务性能的研究中，介绍了一种新的 fine-tuning 方法，称为随机交叉注意力机制（StochCA），用于 Transformer 架构，通过在每个块中采用预定义概率将自注意力机制修改为交叉注意力机制，从预训练模型中选择性地利用知识进行 fine-tuning 来学习如何有效利用预训练模型的丰富表示，实验证明 StochCA 在迁移学习和领域泛化的关键领域中优于现有方法，并可与其他方法结合以进一步提高性能。

    Feb, 2024

  • 时间序列分类中注意力机制的反思

    本文提出了一种灵活的多头线性注意力（FMLA）方法，通过与可变形卷积块和在线知识蒸馏进行分层交互来提高局部感知能力。此外，我们还提出了一种简单但有效的掩码机制，以减少时间序列中的噪声影响并降低 FMLA 的冗余。通过多次以随机掩码层转发样本并聚合其输出来稳定此机制，并将其与 11 种已知算法进行比较，结果表明我们的算法在 top-1 准确性方面具有可比性，并以浮点运算每秒和参数数量方面将其与三种基于 Transformer 的模型进行比较，发现我们的算法在更低的复杂度下实现了更好的效率。

    Jul, 2022

  • 聚类注意力实现快速 Transformer

    本文提出聚类注意力机制以解决 transformers 模型在处理长序列时，注意力矩阵的求解复杂度很高的问题，同时在计算预定义聚类的质心时，能够处理自由形式的注意力机制。

    Jul, 2020

  • 通过共线受限注意力解决 Transformer 的头痛问题

    我们的研究发现了 Transformer 模型中一个被忽视的异常行为，称之为 “Transformers 的头痛”，并引入了一种名为 Collinear Constrained Attention (CoCA) 的新型自注意结构，以解决该问题，并实现优秀的外推性能，同时提高了 CoCA 的计算和空间效率。

    Sep, 2023

  • 变量时间序列变压器中的关联注意力

    我们提出了一种新颖的相关注意力机制，能够高效地捕捉多元时间序列数据中不同特征之间的复杂相互关系，并能够与现有的基于 Transformer 的模型无缝集成，提高效率。在多种任务中，包括插补、异常检测和分类，相关注意力机制与先前的 Transformer 模型相结合，形成了更好的编码器架构，并且取得了先进的结果。

    Nov, 2023

  • 基于多路注意力网络的基于检索的问答和响应预测模型

    本文提出了一种新的组合特征增强模型 ——MCAN，将关注机制用于特征增强，适用于会话建模和问答排名等多种任务，此模型可以同时执行多个关注类型和变形种类等多种操作，并且在四个基准数据集上取得了最好的性能表现。

    Jun, 2018

  • 精简注意力：面向 Transformer 解码阶段的硬件感知可扩展注意力机制

    LeanAttention 是一种可扩展的自注意力计算技术，通过重新设计解码阶段的执行流程，将自注意力机制的实现扩展到具有挑战性的长上下文长度情况，以并行计算的方式提供 2.6 倍的平均注意力执行加速和最多 8.33 倍的速度提升。

    May, 2024