Jun, 2024

具有无需 Softmax 的高效计算医学图像分类的 Transformers 和序列归一化

PDF
TL;DR本文介绍了一种解决 Transformer 模型二次计算复杂度的简单有效方法，并采用序列标准化技术和矩阵乘法重新排序，使得该方法能够在处理更长序列时降低内存和计算复杂度，从而与传统 Transformer 模型具有可比较的性能。
transformer modelcomputational complexitymedical imagingsequence normalizationlinear scale
发现论文，激发创造
  • SOFT: 线性复杂度的无 Softmax Transformer

    提出了一种 softmax-free transformer 或 SOFT 方法，通过使用高斯内核函数替换点积相似性，而不需要标准化以消除 softmax，在计算复杂度上具有线性复杂度，并显著提高了已有 ViT 变种的计算效率。

    Oct, 2021

  • 无 Softmax 的线性变换器

    提出 SOftmax-Free Transformer (SOFT)，其采用高斯核函数替代点积相似度，从而能够通过低秩矩阵分解逼近完整的自注意力矩阵，该模型能够明显提高现有 ViT 变体的计算效率，同时具有线性复杂度，且能够容纳更长的令牌序列，优化了准确率和复杂度之间的权衡。

    Jul, 2022

  • 无概率笼的标准化注意力

    本文介绍了 softmax-attention 在几何上的局限性，并提出采用归一化代替 softmax 实现自我注意力，从而获得超参数和数据推断鲁棒性较强的通用结构。

    May, 2020

  • Softmax 的优势：揭示其在线性注意力上的性能优势

    通过对 softmax 和线性注意机制进行全面的比较分析，我们揭示了 softmax 注意在大多数情况下优于线性注意的潜在原因。

    Oct, 2023

  • 以 ReLU 替代 Vision Transformers 中的 softmax

    通过在视觉变换器上进行实验，我们发现当将注意力 softmax 替换为 ReLU 等点层激活时，通过将结果除以序列长度可以减轻准确性下降现象。我们在 ImageNet-21k 上对各种规模的视觉变换器进行训练的实验表明，对于计算扩展性而言，ReLU-attention 的性能可以接近或匹配 softmax-attention。

    Sep, 2023

  • 扁平 Transformer：使用专注线性注意力的视觉 Transformer

    我们提出了一种新颖的线性关注模块，通过引入简单但有效的映射函数和高效的排名恢复模块，提高了自注意力的表达能力，同时保持了低计算复杂度。大量实验证明，我们的线性关注模块适用于各种先进的视觉 Transformer，并在多个基准测试中实现了持续改进的性能。

    Aug, 2023

  • Toeplitz 神经网络用于序列建模

    本篇论文提出了一种用相对位置编码的 Toeplitz 矩阵来建模序列的方法，能够更高效地处理长序列，同时还能够在大多数下游任务中获得优异的性能，并且具有较强的序列长度外推能力。

    May, 2023

  • 聚类注意力实现快速 Transformer

    本文提出聚类注意力机制以解决 transformers 模型在处理长序列时，注意力矩阵的求解复杂度很高的问题，同时在计算预定义聚类的质心时，能够处理自由形式的注意力机制。

    Jul, 2020

  • 面向百万级依赖建模的长序列模型的统一视图

    本文探讨了 Transformers 在长序列建模中的应用，并提出了一种处理百万级依赖关系的机器学习系统，其中的分布式多头注意力机制可提高 40 倍的计算效率。

    Feb, 2023

  • 稀疏二进制变换器用于多元时间序列建模

    通过应用稀疏和二元权重变换器在多变量时间序列问题上，我们表明轻量级模型能够获得与相同结构的稠密浮点变换器相当的准确性。我们的模型在分类、异常检测和单步预测三个时间序列学习任务上取得了良好的结果，并应用了两种修改以减少注意力机制的计算复杂度，从而大大减少变换器中非零操作的数量。我们在参数数量、存储大小和浮点运算量（FLOPs）等多个度量标准上测量了我们的方法的计算节约，并展示了高达 53 倍的存储大小减少和高达 10.5 倍的 FLOPs 减少。

    Aug, 2023