May, 2023

LSAS: 轻量级次级注意机制缓解注意偏向问题

PDF
TL;DR本文研究计算机视觉中深度神经网络由于其特征提取能力，会在图像中关注一些关键的像素区域，但我们通过量化和统计表明，DNN 存在严重的注意偏差问题；通过现有的自注意机制有一定的缓解，但仍然存在偏差，因此我们提出了一个轻量级的 LSAS 策略，通过高阶子注意模块来改进原始的自注意模块，并通过实验证明其有效性。
deep neural networksfeature extractionattention biasself-attention modulessub-attention strategy
发现论文，激发创造
  • 具有增强自注意力的轻量级视觉 Transformer

    本研究提出了 Lite Vision Transformer（LVT），一种新型的轻量级 transformer 网络，其中包含两种增强自注意力机制，以提高模型在移动部署中的性能表现，并在 ImageNet 识别、ADE20K 语义分割和 COCO 全景分割中具有优越性能。

    Dec, 2021

  • 低分辨率自注意力用于语义分割

    本文介绍了一种使用低分辨率自注意力机制的视觉 Transformer 模型，以较低的计算成本捕捉全局上下文，并在 ADE20K、COCO-Stuff 和 Cityscapes 数据集上表现出优于现有模型的性能。

    Oct, 2023

  • ELSA：增强的局部自注意力视觉变换器

    本文通过从通道设置和空间处理两个方面综合调查了本地自注意力和其同行的性能，发现空间注意力的生成和应用是影响性能的关键因素，提出了增强型本地自注意力（ELSA）并通过实验验证其有效性。

    Dec, 2021

  • 视觉 Transformer 的每个阶段只需要更少的注意力

    Vision Transformers (ViTs) have revolutionized computer vision, but their computational complexity and attention saturation issues limit their practical application. The Less-Attention Vision Transformer (LaViT) proposes a novel approach that reduces the number of attention operations and leverages previously calculated attention scores, resulting in superior efficiency and performance across vision tasks.

    Jun, 2024

  • DAS：一种用于捕获 CNN 中显著信息的变形注意力方法

    DAS 是一种快速且简单的全卷积方法，通过使用可变形卷积进行图片中相关区域的定位和可分离卷积实现高效，结合了现有 CNN 并通过门控机制传播相关信息，展示了在图像分类和目标检测领域，DAS 相较于其他 CNN 注意机制在减少 FLOPs 的同时取得了更好的性能提升（如在狗类数据集 Stanford Dogs 中提升了 4.47%，ImageNet 中提升了 1.91%，COCO AP 中提升了 3.3%）

    Nov, 2023

  • 轻量级自注意力序列推荐

    该论文介绍了一种新型轻量级自注意网络 LSAN，通过组成嵌入将原始嵌入矩阵进行压缩并提出了时态上下文感知的嵌入组合方案以解决目前序列推荐中所存在的大量参数嵌入矩阵对资源受限环境的开销过大的问题，并拥有更强的性能表现。

    Aug, 2021

  • Axial-DeepLab: 独立的轴向注意力在全景分割中的应用

    本论文提出两个一维自注意力层的 2D 因式分解来减少计算复杂度，同时提出了一个位置敏感型自注意力设计，该设计结合两个一维自注意力层形成了一种新的构建块，称为位置敏感型轴注意力层；在图像分类和密集预测任务中，实验证明本文所提出的模型在四个大规模的数据集上表现出色，其中在 ImageNet 上表现最好，使得我们小型变体和计算效率分别提高了 3.8 倍和 27 倍，而本文提出的 Axial-DeepLab 模型在 COCO test-dev、Mapillary Vistas 和 Cityscapes 数据集上都达到了最高水平。

    Mar, 2020

  • 长短期 Transformer: 语言和视觉的高效 Transformer

    提出了一种名为 “长短变压器” 的模型，其中使用自注意力机制处理长文本和高分辨率图像，同时引入了一种新型的远距离关注和短期关注机制，并采用双重归一化策略来处理两种注意力机制之间的规模差异。通过在多个语言和视觉任务中的表现，该方法优于现有的方法。

    Jul, 2021

  • 当医学影像遇上自注意力机制：一段并未很成功的爱情故事

    通过在医学图像上扩展卷积神经网络结构，研究了自注意机制的应用，发现仅仅加入自注意机制并不能提升现有的完全卷积方法的性能。

    Apr, 2024

  • 用于对抗性检测的输入特定注意力子网络

    本文提出了一种利用自注意力头来进行对抗检测的方法，在 10 个 NLU 数据集上通过构建输入特定的自注意力子网络并提取三个特征来鉴别真实和对抗性样本，相对于当前最先进的技术，对 BERT 编码器的对抗检测准确度明显提高（超过 7.5％），并证明了该方法适用于大型模型以及对抗样本数量较少的情况。

    Mar, 2022