该综述旨在提供一种全面的神经注意力模型开发和应用的现状和趋势的分析，系统回顾了数百种注意力模型的体系结构和应用，特别关注于卷积网络、循环网络和生成模型，描述了其在不同应用领域和神经网络可解释性上的影响。

Mar, 2021

通过引导模型关注输入的显著区域，或经过无监督预训练，可以提高循环神经网络在分类任务中的性能，同时可以提高注意力机制本身的效率。

Dec, 2017

本文介绍一种新的连续注意力机制，它生成具有高斯混合形式的多模态密度，用于图像区域的聚合。 该方法在视觉问题回答中表现出有竞争力的准确性和自动分离复杂场景中物体和地面的能力，并提供比其他方法更可解释的注意力地图。

Apr, 2021

本文提出利用注意力机制在卷积特征激活层面上进行细粒度图像识别，相对于传统方法，在不需要部分标注的情况下使用低层次特征进行输出概率分配，并在 CIFAR-10、Adience gender recognition task、Stanford Dogs 和 UEC-Food100 等数据集上取得了最先进的分类精度。

Jul, 2019

卷积神经网络是建模视觉皮质神经元转移函数的最先进方法。这篇论文发现，与参数匹配的标准卷积神经网络相比，非局部网络或自注意机制在整体调谐曲线相关性和调谐峰值这两个关键度量上可以提高神经响应预测，并且可通过分解网络确定每个上下文机制的相对贡献，揭示了局部感受野中的信息对于模拟整体调谐曲线最为重要，而周围信息对于表征调谐峰值至关重要；并且在学习过程中自注意力可以取代后续的空间整合卷积，与全连接输出层相结合，两种上下文机制相辅相成；最后，学习以接受感受野为中心的自注意模型，在逐步学习全连接输出之前，能够提供更具生物学现实性的中心 - 周围贡献的模型。

Jun, 2024

使用人类注意力地图强化深度卷积神经网络的监控信号，并将其应用于目标识别，大幅提高了准确性并生成更接近人类观察者的可解释性更强的视觉特征。

May, 2018

该研究论文提出了一种基于视觉注意力的训练深度分类器的互补学习算法，利用正反馈操作生成注意力图来作为正则化项，该机制能够使分类器学习到关注具有外观变化鲁棒性的目标对象的区域，实验证明该注意力跟踪方法在大规模基准数据集上的性能表现优于现有的基于检测的跟踪算法。

Oct, 2018

本研究提出了一种可解释的方法，能够可视化神经网络中的内在机制和其对输出的影响，从而提高了深度神经网络的可解释性和决策过程，研究的主要贡献是提出了一种数据集中心的算法，适用于多个领域的深度神经网络结构。

Jun, 2017

该论文介绍了一种基于注意力机制的模型，通过机器翻译和物体检测实现图像内容的自动描述，通过最大化变分下界确定性训练该模型，并展示了该模型在生成输出序列时能够自动学习聚焦于显著物体。三个基准数据集上的性能表现也证明了该模型的有效性。

Feb, 2015

本文阐述了注意力机制在深度学习的应用，提出缺乏对于注意力技术的综合研究和分类的问题，描述了 50 种注意力技术分类的细节，并建议未来深度学习对注意力机制的研究方向。

Apr, 2022