CVPRMar, 2021

高效移动网络设计的坐标注意力

PDF
TL;DR本文提出了一种名为坐标注意力机制的新型注意力机制，将位置信息嵌入到通道注意力中以获取空间选择性的注意力图，通过将特征图分别编码成一对有方向和位置敏感的注意力图，提高了 MobileNetV2、MobileNeXt、EfficientNet 等网络中物体检测和语义分割的性能。
mobile network designchannel attentionspatially selective attention mapscoordinate attentionobject detection
发现论文，激发创造
  • ELA：深度卷积神经网络的高效局部注意力

    本篇论文提出了一种高效的局部注意力 (ELA) 方法，该方法通过引入 1D 卷积和分组归一化特征增强技术，实现了在不通过降维的情况下，精确定位感兴趣区域的目标，并且具备轻量级的实现。在 ImageNet、MSCOCO 和 Pascal VOC 数据集上的广泛评估表明，ELA 模块在图像分类、目标检测和语义分割等三个视觉任务中优于当前最先进的方法。

    Mar, 2024

  • SCA-CNN：用于图像字幕的卷积网络中的空间和通道注意力

    本文介绍了一种新的卷积神经网络 SCA-CNN，其中引入了空间和通道注意力，用于图像描述任务，结果表明 SCA-CNN 明显优于现有的基于视觉关注的图像描述方法。

    Nov, 2016

  • 高效多尺度关注模块与交叉空间学习

    本文提出了一种新型的高效多尺度注意力（EMA）模块，通过重新调整通道信息，并将通道分组到多个子特征中，实现对空间语义特征的良好分布，在图像分类和目标检测任务中取得了显著性能。

    May, 2023

  • CSA-Net：通道级空间自相关注意力网络

    该研究介绍了一种新颖的基于地理空间分析的通道相关的注意力机制，其能够在卷积神经网络中利用特征图之间的空间关系来产生有效的通道描述符，并验证了其在图像分类、目标检测和实例分割等多个任务和数据集上相对于其他先进的基于注意力的卷积神经网络的竞争性性能和优越性。

    May, 2024

  • 注意力增强卷积网络

    本文针对使用卷积操作在视觉任务中只关注局部局部信息、缺乏全局信息的不足，提出运用自注意力机制对视觉任务进行处理的方法；通过在图像分类和目标检测任务中实现卷积和自注意力的融合，可有效提高模型精度。

    Apr, 2019

  • 深度网络中空间注意机制的实证研究

    本篇论文对注意力机制的实现方法进行了实证研究，发现空间注意力及注意力机制中的关键内容对比对深度神经网络的性能影响显著，为注意力机制的进一步研究及设计提供了新的思路和方向。

    Apr, 2019

  • AttentionNAS: 基于时空注意力单元搜索的视频分类

    提出一种新的用于搜索空间时间关注单元的方法，可以用于改善现有的骨干网络（如 I3D 或 S3D）中的视频分类精度，并在 Kinetics-600 和 MiT 数据集上超过 2％。

    Jul, 2020

  • 基于注意力机制的神经网络用于无线信道估计

    本文提出一种利用自注意机制实现正交频分复用波形下行链路信道估计的新型混合编码器 - 解码器结构（称为 HA02），利用 3GPP 信道模型进行模拟，结果显示其在信道估计方面表现更优秀。

    Apr, 2022

  • $A^2$-Nets：双重注意力网络

    本文提出了一种双重注意力块 (double attention block) 的方法，其聚合和传播了来自输入图像 / 视频的整个时空空间的全局特征，从而使下一层卷积层高效地访问整个空间中的特征；将此块应用于当前卷积神经网络，可以显著提高图像 / 视频的识别性能，在 ImageNet-1k 数据集上，ResNet-50 与双重注意力块的表现优于参数数量多得多的 ResNet-152, 在动作识别任务中，该模型在 Kinetics 和 UCF-101 数据集上取得了最先进的成果。

    Oct, 2018

  • 全注意力网络用于语义分割

    该研究提出了 FLANet 方法，可以通过单个相似度图来同时编码空间和通道注意力，并在三个具有挑战性的语义分割数据集上最先进的性能达到 83.6％，46.99％和 88.5％。

    Dec, 2021