本文提出一种卷积块自适应模型 (Convolutional Block Attention Module, CBAM)，通过自适应特征细粒度调整， CBAM 可以被轻松集成到任何卷积神经网络架构中，改进了分类和检测性能。

Jul, 2018

本文研究了视觉强化学习中自主代理的鲁棒性，发现在 CNN 体系结构中添加瓶颈注意力模块 (BAM) 可以提高抵御对抗性攻击的能力。作者表明学习到的注意力映射可以用来恢复卷积层的激活，并在一些 RL 场景中展示出加强了的鲁棒性。

Aug, 2022

该研究提出了一种轻量级的顶部注意力模块 (TDAM)，通过迭代生成一个 “视觉探照灯”，以更多上下文相关的特征图上执行通道和空间调制，从而增强 CNN 在多个目标识别基准测试上的性能，并且能够在不需要显式监督的情况下本地化单个对象或特征。

Nov, 2021

本文提出了 Bridge Attention Net (BA-Net) 这一简单的策略，通过跳跃连接将前面的卷积层的输出连接起来以提高通道注意力机制的性能，并在实验中展示其比现有方法在精度和速度方面均取得了最先进的性能，这表明 Bridge Attention Net 在神经网络架构设计中具有巨大潜力。

Dec, 2021

通过加入可训练的注意力模块，使得卷积神经网络在进行图像分类时能够更好地聚焦于感兴趣的区域，进一步提高了模型的稳健性。

Apr, 2018

本文提出一种双向注意力网络（BANet）用于单目深度估计，通过利用神经机器翻译的概念基础和引入双向注意力模块，该方法能够高效地将局部和全局信息相融合，并在 KITTI 和 DIODE 数据集上显著优于传统的前馈模型以及其他现有的单目深度估计方法。

Sep, 2020

本文提出了 Attention Branch Network（ABN）用于图像识别，它通过引入注意机制来表示图像的重要区域，并以分支结构扩展自顶向下的视觉解释模型，实现端到端的训练，同时提供了可视化的图像解释和获得比基准模型更高的精度。

Dec, 2018

BoTNet 是一种基于自注意力机制的视觉模型，可以应用于图像分类、目标检测和实例分割，通过在 ResNet 的最后三个 bottleneck 块中使用自注意力代替空间卷积，能够大幅提高实例分割和目标检测的性能，同时减少参数量和计算开销。BoTNet 的设计表明 ResNet bottleneck 块中的自注意力可以视为 Transformer 块。在 COCO Instance Segmentation 基准测试中，BoTNet 能够取得 44.4% 的 Mask AP 和 49.7% 的 Box AP，超过了之前最佳单模型和单尺度结果 ResNeSt，同时在 ImageNet 基准测试中，BoTNet 的简单改进能够取得 84.7% 的 top-1 准确率，比 EfficientNet 在 TPU-v3 上计算速度快 1.64 倍。这一简单而有效的方法有望成为未来自注意力视觉模型研究的强有力基准。

Jan, 2021

统计学和机器学习中，检测数据集中的依赖关系是一个核心挑战。我们提出了一种新颖的神经网络模型，用于监督式图结构学习，即学习观测数据与其底层依赖结构之间的映射关系。通过利用结构方程模型和使用随机生成的多元切比雪夫多项式来模拟训练数据，我们的方法在线性和各种类型的非线性依赖关系上都表现出稳健的可推广性。我们引入了一种新颖的双线性注意机制（BAM），用于显式处理依赖信息，其操作是基于转换数据的协方差矩阵水平，并尊重对称正定矩阵流形的几何性质。实证评估显示了我们的方法在检测广泛范围的依赖关系中的稳健性，在无向图估计方面表现出优势，并通过一种新颖的两步方法在完成部分有向无环图估计中取得竞争优势。

Feb, 2024

本研究提出了一种易于实现和优化的可伸缩的随机注意力版本，其特点是通过归一化可重参数化分布来构造单纯限制的注意力分布，并在基于数据的先验框架中学习其参数进行正则化，将该方法应用于各种注意力模型中，并在图形节点分类、视觉问答、图像字幕生成、机器翻译、语言理解等领域获得了一致的改进。

Oct, 2020