Jun, 2024

椭圆形注意力

PDF
TL;DR应用 Mahalanobis 距离计算注意力权重，将模型的特征空间在高上下文相关性方向进行拉伸，从而达到减少特征塌缩和提升模型鲁棒性的效果，验证了在多个实际任务中 Elliptical Attention 相对于基线 dot-product attention 和最先进的方法的优越性。
pairwise dot-product self-attentiontransformersmahalanobis distance metricelliptical attentionrepresentation collapse
发现论文，激发创造
  • 对称点积注意力用于 BERT 语言模型的高效训练

    提出了一种与 Transformer 架构的自注意力机制兼容的替代性兼容函数，并在类似 BERT 模型的预训练中实现了对称的注意力机制，在 GLUE 基准测试中得分 79.36，减少了可训练参数数量的 6％，并将收敛前所需的训练步骤减少了一半。

    Jun, 2024

  • Transformer 神经网络架构中注意力机制的缩放点积的替代方法

    通过除以键值长度之和而非平方根，我们提出了一种替代方法来缩放点积，以避免在应用 softmax 时导致梯度消失的区域。我们使用模拟的键和查询显示，这种方法在许多情况下更有效。

    Nov, 2023

  • 透过凸优化解释注意力：关于视觉 Transformer 的分析和解读

    本文通过凸对偶性的视角分析了自我注意力及其替代方案的基础归纳偏差问题，并为非线性点积自我注意力和替代机制提出了有解释性且可全局最优求解的等效有限维凸问题。通过实验证明，与现有的 MLP 或线性 heuads 相比，自我注意网络的偏差对于 CIFAR-100 分类任务具有吸引力。

    May, 2022

  • 合成器：重新思考 Transformer 模型中的自注意力

    通过大量实验，本文研究了基于点积的自注意力机制对 Transformer 模型性能的实际重要性和贡献，并提出了一种无需 token 交互的学习合成注意力权重的模型 Synthesizer，并在多个任务中取得了竞争性的表现，证明了该模型的有效性。同时，与动态卷积和 Linformers 相比较，Synthesizer 不但更快，而且还提高了 perplexity。

    May, 2020

  • 高效注意力：线性复杂度的注意力

    本文提出了一种新的有效注意机制，其在计算代价和内存使用方面远优于点积注意力，这种资源效率使得它能够更广泛和灵活地集成到网络中，提高了观察精度，可以用于物体检测、实例分割和立体深度估计等领域。

    Dec, 2018

  • DA-Transformer：距离感知 Transformer

    本文提出了一种具备距离感知能力的 DA-Transformer 模型来捕捉输入 token 之间的真实距离信息，并将其用于自注意力计算中，实验证明该模型在五个基准数据集上的表现明显好于 Transformer 模型及其多个变体。

    Oct, 2020

  • 逆距离加权注意力

    替换尺度点积注意力为负欧氏距离对网络产生了影响，简化成距离倒数加权插值；在简单单隐藏层网络上训练，使用标准交叉熵损失，倾向于生成包含原型的关键矩阵和相应逻辑回归的值矩阵；同时，我们还展示其结果可通过人工构建的原型增加特殊情况的处理能力，形成可解释的网络。

    Oct, 2023

  • 理解自注意力的规律性与最优传输

    通过研究自注意力的局部李普希茨常数，本文在测度论框架下改进了先前的结果，从理论角度探讨了 Transformer 和多头注意力机制在神经网络的鲁棒性问题，并发现高局部李普希茨常数的测度通常由少数的狄拉克函数组成，且质量分布不均衡。此外，本文还分析了自注意力在改变令牌数的扰动下的稳定性，发现在某些输入情况下，复制令牌的攻击比仅移动令牌的攻击效果更好，称之为质量分裂现象。

    Dec, 2023

  • 自注意力动态中群集的出现

    本文将 Transformer 视为相互作用的粒子系统，描述了当权重不随时间变化时，学习表示的几何特征，证明了表示中的粒子会在时间趋于无穷时聚集到特定的极限对象，这取决于值矩阵的谱。同时，在一维情况下，证明了自我关注矩阵收敛于低秩布尔矩阵。这些结果的组合在数学上证实了 Vaswani 等人的经验观察，即在 Transformers 处理一系列标记时会出现 “leader”。

    May, 2023

  • 聚类注意力实现快速 Transformer

    本文提出聚类注意力机制以解决 transformers 模型在处理长序列时，注意力矩阵的求解复杂度很高的问题，同时在计算预定义聚类的质心时，能够处理自由形式的注意力机制。

    Jul, 2020