ICMLOct, 2021

具有次二次复杂度的涟漪注意力视觉感知

PDF
TL;DR该论文提出了一种名为 “ripple attention” 的新的、用于视觉 transformer 的次二次注意力机制，可以在线性可观测的时间内量化各令牌对查询的贡献，以实现对于相对空间距离的加权；实验结果表明，此机制对于各种视觉任务非常有效。
transformerattention mechanismcomputer visionripple attentionvisual tasks
发现论文，激发创造
  • 四叉树注意力视觉 Transformer

    通过部分 Attention 性能的提升，QuadTree Attention 可以有效实现对密集预测的视觉任务，如物体检测和特征匹配，将计算复杂度从二次降至线性，具有比以往转换器更高的性能。

    Jan, 2022

  • 扁平 Transformer：使用专注线性注意力的视觉 Transformer

    我们提出了一种新颖的线性关注模块，通过引入简单但有效的映射函数和高效的排名恢复模块，提高了自注意力的表达能力，同时保持了低计算复杂度。大量实验证明，我们的线性关注模块适用于各种先进的视觉 Transformer，并在多个基准测试中实现了持续改进的性能。

    Aug, 2023

  • 循环线性变换

    通过引入循环替代方案以解决 transformer 自注意机制中的两个局限，本文提出了一种能够以较低成本进行推理并有效利用长程依赖的 transformer 自注意机制替代方法，在强化学习问题中实现了性能的提升。

    Oct, 2023

  • 透过凸优化解释注意力：关于视觉 Transformer 的分析和解读

    本文通过凸对偶性的视角分析了自我注意力及其替代方案的基础归纳偏差问题，并为非线性点积自我注意力和替代机制提出了有解释性且可全局最优求解的等效有限维凸问题。通过实验证明，与现有的 MLP 或线性 heuads 相比，自我注意网络的偏差对于 CIFAR-100 分类任务具有吸引力。

    May, 2022

  • 突破注意力瓶颈

    通过开发一种生成函数来解决基于关注机制的注意力变量效率低的问题，该方法在处理变长输入序列和建模长程依赖方面具有更小的模型和更小的损失。

    Jun, 2024

  • 近无限背景下的分块 Transformer 环形注意力

    传统的 Transformer 架构由于内存需求限制了其处理长序列的能力，而我们提出的 Ring Attention 方法通过分块计算自注意力和重叠通信的方式，提高了内存利用效率，允许处理更长的输入序列，从而消除了设备内存的限制，同时在语言建模任务上取得了显著的性能提升。

    Oct, 2023

  • 全局关注：用于序列到序列预测的二维卷积神经网络

    通过使用基于卷积神经网络而非 encoder-decoder 结构的方法，每一层在输出序列上重新编码源标记，我们的模型在参数更少的情况下表现出色，优于现有的机器翻译系统。

    Aug, 2018

  • 混合分辨率令牌化的视觉 Transformer

    本文介绍了一种新的图像标记方案 —— 混合分辨率标记 —— 以及如何使用 Quadtree 算法和新的显著性评分器构建图像的代表通量，进而实现更好的图像分类。

    Apr, 2023

  • 视频 Transformer 的时空混合注意力

    本研究论文介绍了一种使用 Transformer 进行视频识别的模型，相较于其他视频识别模型，本模型计算效率更高。为实现此目的，本模型对全时空注意力机制进行两种简化处理：(a) 限制时间注意力于局部时间窗口内，(b) 使用高效的时空混合方法联合对空间和时间位置进行注意力处理，而不增加任何额外的成本。

    Jun, 2021

  • 可训练前馈核线性自注意力近似

    本文旨在将可训练的核方法的思想扩展到逼近 Transformer 架构的自注意机制，以实现更快的计算和更高的准确率。

    Nov, 2022