Feb, 2024

CAST: 使用替代标记的聚类自注意力以提高 Transformer 效率

PDF
TL;DR基于自注意力机制的转换器架构，提出了一种使用代理符号的聚类自注意力机制（CAST），用于优化注意力计算并实现高效的转换器。CAST 通过减少复杂度从 O（N^2）到 O（αN），N 为序列长度，α 是按照聚类的数量和每个聚类的样本数而定的常数，实现了更高的时间和内存效率。
transformer architectureself-attention mechanismclustering self-attention mechanism using surrogate tokens (cast)efficiencylong-range sequence modeling
发现论文，激发创造
  • 聚类注意力实现快速 Transformer

    本文提出聚类注意力机制以解决 transformers 模型在处理长序列时，注意力矩阵的求解复杂度很高的问题，同时在计算预定义聚类的质心时，能够处理自由形式的注意力机制。

    Jul, 2020

  • 使用结构化矩阵增强的 X 转换器进行长序列时间序列预测

    通过引入 Surrogate Attention Blocks 和 Surrogate FFN Blocks，提出了一种新颖的针对长序列时间序列预测问题的 Transformer 模型的架构设计，以提高模型的效率而不牺牲准确性。在涵盖了九个基于 Transformer 的模型的五个时间序列任务的广泛实验中，观察到平均性能提高了 9.45％，同时模型的大小降低了 46％。

    May, 2024

  • 用于少样本学习的变形金刚中的属性替代学习和光谱标记池化

    本文提出了一种新型的 Hierarchically Cascaded Transformers，它通过属性代理学习和光谱令牌池化来提高数据效率。在少量数据的情况下，HCTransformers 在几个流行的 Few-shot 分类基准上都表现出了优异的性能。

    Mar, 2022

  • 自注意力动态中群集的出现

    本文将 Transformer 视为相互作用的粒子系统，描述了当权重不随时间变化时，学习表示的几何特征，证明了表示中的粒子会在时间趋于无穷时聚集到特定的极限对象，这取决于值矩阵的谱。同时，在一维情况下，证明了自我关注矩阵收敛于低秩布尔矩阵。这些结果的组合在数学上证实了 Vaswani 等人的经验观察，即在 Transformers 处理一系列标记时会出现 “leader”。

    May, 2023

  • 通过共线受限注意力解决 Transformer 的头痛问题

    我们的研究发现了 Transformer 模型中一个被忽视的异常行为，称之为 “Transformers 的头痛”，并引入了一种名为 Collinear Constrained Attention (CoCA) 的新型自注意结构，以解决该问题，并实现优秀的外推性能，同时提高了 CoCA 的计算和空间效率。

    Sep, 2023

  • 直接语言翻译中注意力的局部性

    本文讨论了自我注意力（self-attention）在直接语音翻译中的应用。通过分析编码器中自我注意力的逐层令牌贡献，发现了局部对角线模式，并提出用局部高效的自我注意力替代标准自我注意力，通过跳过标准自我注意力废弃的权重来提高模型的效率，但仍保持与基线性能相同。

    Apr, 2022

  • Cluster-Former: 基于聚类的稀疏变形器，用于长距离依赖编码

    本研究提出了一种基于聚类的稀疏 Transformer 模型，它由滑动窗口层和 Cluster-Former 层组成，能够跨越窗口编码本地序列信息和全局上下文信息，这种新的设计在回答具有长程依赖性的问题时尤其有益，实验结果表明其在多项 QA 基准测试中实现了最先进的性能。

    Sep, 2020

  • 中心点变换器：使用注意力学习抽象

    提出基于聚类优化规则的重心注意力模型，将输入映射为小数目的中心点，摘取关键信息进行预测，有效降低复杂度并优于标准转换器，适用于文本摘要、3D 视觉和图像处理等多个领域。

    Feb, 2021

  • XNOR-FORMER: 长语音 Transformer 准确近似学习

    本研究开发出一种新型的线性变压器，通过检验自我关注中关键查询产品的特性，发现其在语音识别和语音摘要方面优于现有的方法。

    Oct, 2022

  • 通过基于人类实验协议评估自我注意力的解释性

    本文提出了一种新的基于注意力机制的可解释性方法，通过计算 Transformer 模型中与分类任务相关部分的注意力系数分布来评估每个单词的可解释性得分，实验结果证明这种方法在提供解释方面与常规方法相当。研究还发现，自注意力可以包含丰富的信息来解释 Transformer 分类器。

    Mar, 2023