本文提出了一种新型的高效多尺度注意力（EMA）模块，通过重新调整通道信息，并将通道分组到多个子特征中，实现对空间语义特征的良好分布，在图像分类和目标检测任务中取得了显著性能。

May, 2023

本文介绍了一种新的自我注意力模块，使用一种明确建模的注意力映射，利用几何先验来提高图像分类的准确性，实验证明该方法在 ImageNet ILSVRC 中的准确性提升了 2.2%，在参数和计算量分别减少 6.4% 和 6.7% 的情况下，相对于 AA-ResNet152 准确率提高了 0.9%。

Jun, 2020

本文提出了一种自我监督的等变注意机制方法 (SEAM) 来解决基于图像级别弱监督学习语义分割的问题。该方法通过提出一致性规则，并利用像素相关模块 (PCM) 来处理背景信息，从而提高了实验效果。

Apr, 2020

本文提出了外部注意力机制，它在现有流行的架构中方便地替换自我注意力，具有线性复杂度，隐含地考虑所有数据样本之间的关联，结合多头机制提供了外部注意力 MLP（EAMLP）体系结构，用于图像分类和其他任务中可提供与或优于自我注意力机制及其变体相当的结果，且计算和内存成本较低。

May, 2021

本文针对使用卷积操作在视觉任务中只关注局部局部信息、缺乏全局信息的不足，提出运用自注意力机制对视觉任务进行处理的方法；通过在图像分类和目标检测任务中实现卷积和自注意力的融合，可有效提高模型精度。

Apr, 2019

通过研究神经网络中特征映射的统计矩，我们发现高阶矩在增强模型能力方面具有关键作用。因此，我们引入了一种灵活和全面的机制，称为 “广泛的矩聚合（EMA）”，以捕获全局空间上下文。在此机制基础上，我们提出了一种名为 “矩通道注意力（MCA）” 的框架，通过我们的 “交叉矩卷积（CMC）” 模块，在尽量减少额外计算成本的同时高效地结合了多个级别的基于矩的信息。实验证明，我们提出的方法在经典的图像分类、目标检测和实例分割任务中取得了最先进的结果，超越了现有的通道注意力方法。

Mar, 2024

语义分割是计算机视觉中的一个重要问题。近期，采用端到端卷积神经网络的语义分割算法比传统方法更准确。然而，基于注意力机制的解码器在多个数据集上已经达到了最先进的性能，但这些网络通常只与之前的最佳网络的 mIoU 进行比较，忽略了它们的特点，并未考虑到不同类别中的计算复杂性和精度，这在工程应用中是必不可少的。此外，分析 FLOPs 和内存的方法在不同网络之间不一致，使得比较难以使用。此文首先进行实验以分析其计算复杂性并比较其性能。然后总结适用于这些网络的场景，并得出构建注意力网络时应关注的关键点。最后，指出了注意力网络的一些未来方向。

Sep, 2023

本文提出了一种改进的注意力机制，结合了多头自我注意力、焦点注意力和校准注意力，来定位语音情感识别中信号幅度的重要部分，并调节注意力权值以提高周围内容的利用率，实验结果表明该方法在 IEMOCAP 和 RAVDESS 数据集上都优于现有最先进方法。

Aug, 2022

通过引入 Max Attention Suppression 和 Random Attention Dropout 两个新模块，我们提出了一种名为 Robust Attention Mechanism (RAM) 的方法，用于改善语义分割模型的鲁棒性，显著提高对各种基于 patch 的攻击方法的防御能力。

Jan, 2024

本文提出了一种新颖的挤压和注意力（SA）模块，结合传统卷积实现像素组关注和像素级预测，最终通过融合四个层次的 SANet 的输出来集成多尺度的上下文信息，从而实现了在 PASCAL VOC 和 PASCAL 上的语义分割任务中表现出色。

Sep, 2019