本文提出了一种新的高效非局部对比度注意力 (Efficient Non-Local Contrastive Attention, ENLCA)，实现了长距离视觉建模和更多相关非局部特征的利用。通过引入核方法来近似指数函数，达到线性计算复杂度，并通过对比学习从而进一步分离相关和无关特征，证明了 ENLCA 的有效性。

Jan, 2022

本文提出了一种新颖的协作注意力网络（COLA-Net），该网络是首次尝试将局部和非局部注意力机制相结合以在复杂纹理区域和高度重复细节区域恢复图像内容。实验表明，我们的 COLA-Net 无论在峰值信噪比还是视觉感知上都达到了最先进的性能，同时保持了较低的计算复杂度。

Mar, 2021

本文提出了一种基于深度神经网络（DNN）的 VAE 结构的新型非局部注意力优化和改进的上下文建模图像压缩（NLAIC）算法，采用了非局部网络操作嵌入到编码器和解码器中，通过采用关注机制生成掩码来让特征自适应量化，实现了改进条件熵建模潜在特征，可在实际应用中增加速度、降低内存消耗和减轻实现复杂度的额外增强措施，并在 Kodak 和 CLIC 数据集上取得了与现有方法相比的最新压缩功率效率。

Oct, 2019

本文提出了高相似度通道的注意力软阈值操作，以减少长距离依赖的冗余非本地特征，有效提高了单图超分辨率的难度，并进一步将该操作集成到现有的深度学习模型中。实验表明，本文方法相对于现有技术有更好的定量和定性结果。

May, 2023

该论文提出了一种新型的自适应跨层关注模块（ACLA），来提高图像修复的效率。ACLA 为每个查询像素选择多个关键像素，并提供适配性的选择和插入设计，使其可以更好地融合不同层之间特征的相关性，从而提高图像修复的性能。

Mar, 2022

本文提出了一种基于自动编码器的新型非局部注意力优化深度图像压缩（NLAIC）框架，该框架将非局部操作嵌入编码器和解码器中，以捕捉局部和全局关联，并应用注意机制生成用于加权图像和超先验特征的掩码，从而根据其重要性隐含地适应不同特征的比特分配。此外，超先验和潜在特征的空间 - 通道邻居被用来改进熵编码。该模型在 Kodak 数据集上的性能优于现有的图像压缩方法，包括基于学习的（例如 Balle2019，Balle2018）和传统的（例如 BPG，JPEG2000，JPEG）图像压缩方法，无论是 PSNR 还是 MS-SSIM 畸变度量。

Apr, 2019

本篇论文提出了一种高效的局部注意力 (ELA) 方法，该方法通过引入 1D 卷积和分组归一化特征增强技术，实现了在不通过降维的情况下，精确定位感兴趣区域的目标，并且具备轻量级的实现。在 ImageNet、MSCOCO 和 Pascal VOC 数据集上的广泛评估表明，ELA 模块在图像分类、目标检测和语义分割等三个视觉任务中优于当前最先进的方法。

Mar, 2024

提出了多尺度感受野、大内核注意力模块 (LCAN)，用于改进轻量级图像超分辨率任务，并提高重建性能。

May, 2024

本文提出了一种连续的隐式关注网络，称为 CiaoSR，以解决在单张图片超分辨率重建中可能遇到的局部模型信息不足、感受野受限的问题，并在多个基准数据集上实验表明 CiaoSR 显著优于现有的单个图像超分辨率方法，并取得了任意比例超分辨率任务的最佳性能。

Dec, 2022

本文提出了一种新的交互式学习框架，即交互式注意力学习（IAL），其中人类监督者可以交互地操纵分配的注意力来纠正模型的行为，并通过更新注意力生成网络来进行修正。通过使用样本高效的注意力机制和一种小样本成本有效的重排算法，本文解决了模型过度拟合和标注匮乏等挑战，将 IAL 在多个领域（如医疗保健、房地产、计算机视觉）的多种时间序列数据集上进行验证，证明了其在几乎不需要重新训练和人力交互成本的情况下，显著优于传统注意力机制或不考虑成本效益的基准方法。

Jun, 2020