卷积神经网络是建模视觉皮质神经元转移函数的最先进方法。这篇论文发现，与参数匹配的标准卷积神经网络相比，非局部网络或自注意机制在整体调谐曲线相关性和调谐峰值这两个关键度量上可以提高神经响应预测，并且可通过分解网络确定每个上下文机制的相对贡献，揭示了局部感受野中的信息对于模拟整体调谐曲线最为重要，而周围信息对于表征调谐峰值至关重要；并且在学习过程中自注意力可以取代后续的空间整合卷积，与全连接输出层相结合，两种上下文机制相辅相成；最后，学习以接受感受野为中心的自注意模型，在逐步学习全连接输出之前，能够提供更具生物学现实性的中心 - 周围贡献的模型。

Jun, 2024

本文针对使用卷积操作在视觉任务中只关注局部局部信息、缺乏全局信息的不足，提出运用自注意力机制对视觉任务进行处理的方法；通过在图像分类和目标检测任务中实现卷积和自注意力的融合，可有效提高模型精度。

Apr, 2019

本文提出了一种简单而有效的神经网络层结构，其可以并行执行多个操作并通过注意力机制进行加权，以选择适当的操作来应对多种组合失真。实验结果表明，该方法比以前的方法在恢复具有多个组合失真的图像方面更为有效。

Dec, 2018

本文提出了一种新的卷积神经网络，叫做 Wavelet 通道注意力模块与融合网络，通过利用小波变换和逆小波变换来恢复图像，结合通道注意力，取得了比现有方法更好的降雨噪声图像去噪效果。

Jul, 2020

基于雨天对成像系统正常运行的重大影响，本文提出了一种双支路注意力融合网络的方法，旨在解决多维图像特征融合的问题，通过引入两个支路的网络结构和注意力融合模块，完成了完备的消融实验和足够的对比实验，证明了该方法的合理性和有效性。

Jan, 2024

本文提出了一个基于对比学习的图像去雨方法，使用递归动态多尺度网络来提高降雨性能，实现了优秀的效果并超越了现有方法，并且该方法在客观检测和语义分割方面也表现出了很好的性能。

May, 2023

本文研究了使用自我关注（self-attention）和动态卷积（dynamic convolutions）两种机制建立语言和图像生成模型的效率以及准确性问题，并证明了动态卷积在大规模机器翻译、语言模型和提取式摘要等任务中的表现优于强的自我关注模型，得到了 WMT'14 英德测试集中 29.7 BLEU 的最高分。

Jan, 2019

本文提出了一种基于动态生成关系卷积核和聚合关系背景的关系特征变换 —— 关系自注意力 (RSA)，用于视频理解。通过实验和消融研究，证明 RSA 网络在视频动作识别等领域明显优于传统卷积和自注意力网络。

Nov, 2021

将金字塔注意力模块用于图像修复能够提高深度卷积神经网络方法的自相似性，从而能够更好地处理在不同尺度上具有类似模式的图像，并可应用于多种图像修复任务中，包括图像去噪、去马赛克、减少压缩伪影和超分辨率。

Apr, 2020

本文提出使用受自我监督预训练的 MAE 方法，作为 inpainting 模型的新骨架，并加入 MAE 注意先验，以增强 inpainting 模型的长距离依赖性，验证结果显示该方法在 Places2 和 FFHQ 上都取得了较好的效果。

Aug, 2022