Mar, 2024

MCA：Moment Channel Attention 网络

PDF
TL;DR通过研究神经网络中特征映射的统计矩，我们发现高阶矩在增强模型能力方面具有关键作用。因此，我们引入了一种灵活和全面的机制，称为 “广泛的矩聚合（EMA）”，以捕获全局空间上下文。在此机制基础上，我们提出了一种名为 “矩通道注意力（MCA）” 的框架，通过我们的 “交叉矩卷积（CMC）” 模块，在尽量减少额外计算成本的同时高效地结合了多个级别的基于矩的信息。实验证明，我们提出的方法在经典的图像分类、目标检测和实例分割任务中取得了最先进的结果，超越了现有的通道注意力方法。
channel attention mechanismsfeature mapsneural networkextensive moment aggregationmoment channel attention
发现论文，激发创造
  • 高效多尺度关注模块与交叉空间学习

    本文提出了一种新型的高效多尺度注意力（EMA）模块，通过重新调整通道信息，并将通道分组到多个子特征中，实现对空间语义特征的良好分布，在图像分类和目标检测任务中取得了显著性能。

    May, 2023

  • ECA-Net：深度卷积神经网络的高效通道注意力

    本文提出一种高效通道注意力 (ECA) 模块，该模块仅涉及少量参数，可以显著提高性能并降低模型复杂度，通过在 ResNet50 的骨干网上进行了广泛的实验验证，在图像分类，目标检测和实例分割方面均表现出良好的效果。

    Oct, 2019

  • SCA-CNN：用于图像字幕的卷积网络中的空间和通道注意力

    本文介绍了一种新的卷积神经网络 SCA-CNN，其中引入了空间和通道注意力，用于图像描述任务，结果表明 SCA-CNN 明显优于现有的基于视觉关注的图像描述方法。

    Nov, 2016

  • FcaNet: 频率通道注意力网络

    该论文提出了在频域进行特征分解以解决通道表示问题的方法，使用多光谱通道注意力机制来实现通道压缩，并在图像分类、物体检测和实例分割任务上取得了优异的效果。

    Dec, 2020

  • 稀疏多模态融合与模态通道注意力

    研究了当模态样本稀疏对齐时，掩蔽多模态变换器架构学习鲁棒嵌入空间的能力，并通过测量嵌入空间的质量作为模态稀疏的函数来验证。提出了一种扩展的掩蔽多模态变换器模型，它在多头注意机制中结合了模态不完整通道，称为模态通道注意（MCA）。使用两个数据集进行实验，分别为多模态情感识别的 CMU-MOSEI 和多组学的 TCGA。结果表明，在大多数样本中，模型能够学习到统一和对齐的嵌入空间，即使只有四个模态中的两个。结果还表明，即使没有模态稀疏，提出的 MCA 机制仍能提高生成嵌入空间的质量、召回指标以及下游任务的性能。

    Mar, 2024

  • CSA-Net：通道级空间自相关注意力网络

    该研究介绍了一种新颖的基于地理空间分析的通道相关的注意力机制，其能够在卷积神经网络中利用特征图之间的空间关系来产生有效的通道描述符，并验证了其在图像分类、目标检测和实例分割等多个任务和数据集上相对于其他先进的基于注意力的卷积神经网络的竞争性性能和优越性。

    May, 2024

  • 期望最大化注意力网络用于语义分割

    本文提出了一种基于期望最大化的注意力机制模块，通过迭代估计一组更紧凑的基础来计算注意力图，从而获得低秩的表示并消除输入中的噪声信息。该模块对输入的差异性具有鲁棒性，且内存和计算效率较好，适用于计算机视觉任务和语义分割模型，在 PASCAL VOC 等数据集上实现了最佳记录。

    Jul, 2019

  • WaveNets：小波通道注意力网络

    本文介绍了一种在计算机视觉中使用的名为 WaveNet 的基于小波变换的通道注意力机制，可有效提高特征保留能力和图像分类性能。

    Nov, 2022

  • 基于通道先验卷积注意力的医学图像分割

    本文提出了一种高效的 Channel Prior Convolutional Attention (CPCA) 方法以及基于 CPCA 的医学图像分割网络 CPCANet，通过在通道和空间维度上支持动态分配注意力权重并保持通道优先以及采用多尺度深度可分离卷积模块，能够有效地提取空间关系，专注于有信息量的通道和重要区域。在两个公开数据集上验证 CPCANet，相对于其他最先进的算法实现了更好的分割性能并需要更少的计算资源。代码公开在 https://github.com/Cuthbert-Huang/CPCANet。

    Jun, 2023

  • 基于多路注意力网络的基于检索的问答和响应预测模型

    本文提出了一种新的组合特征增强模型 ——MCAN，将关注机制用于特征增强，适用于会话建模和问答排名等多种任务，此模型可以同时执行多个关注类型和变形种类等多种操作，并且在四个基准数据集上取得了最好的性能表现。

    Jun, 2018