Feb, 2022
注意力的夸克
The Quarks of Attention
Pierre Baldi, Roman Vershynin
TL;DR本文研究了注意力机制的基本构建块及其计算性质，提出三种最重要的机制：加性激活注意力，乘性输出注意力（输出门控）和乘性突触注意力（突触门控），并证明加性激活注意是基本电路的下限证明中的重要角色。
Abstract
attention plays a fundamental role in both natural and artificial
intelligence systems. In deep learning, attention-based →
attentiondeep learningneural architecturesadditive activation attentionmultiplicative output attention
发现论文，激发创造
深度学习中神经注意力模型调查
该综述旨在提供一种全面的神经注意力模型开发和应用的现状和趋势的分析，系统回顾了数百种注意力模型的体系结构和应用，特别关注于卷积网络、循环网络和生成模型，描述了其在不同应用领域和神经网络可解释性上的影响。
Mar, 2021
自然语言处理中的注意力
本文提出一种统一的注意力机制模型，针对自然语言处理领域中基于文本数据向量表示的注意力机制的四个维度进行了分类。本文通过举例说明如何在注意力模型中利用先前信息，并讨论了该领域正在进行的研究工作和开放性挑战。这是该领域中广泛文献的首次广泛分类。
Feb, 2019
深度学习中的视觉注意方法：深入调查
本文阐述了注意力机制在深度学习的应用，提出缺乏对于注意力技术的综合研究和分类的问题，描述了 50 种注意力技术分类的细节，并建议未来深度学习对注意力机制的研究方向。
Apr, 2022
从认知到计算：人类注意力与 Transformer 架构的比较综述
人类注意力机制和 Transformer 模型在容量约束、注意路径和意图机制等方面存在显著差异，本文从认知功能的角度进行比较分析，旨在揭示一些开放性研究问题并鼓励跨学科努力，以从人类注意力机制中获得洞察，进而发展更普适的人工智能。
Apr, 2024
A$^3$: 神经网络中的加速注意力机制近似方法
本研究提出了 A3 机制，利用算法逼近和硬件专业化实现对于神经网络中注意力机制的加速，以达到多个数量级的能效提升和大幅度加速传统硬件的效果。
Feb, 2020
深度网络中空间注意机制的实证研究
本篇论文对注意力机制的实现方法进行了实证研究，发现空间注意力及注意力机制中的关键内容对比对深度神经网络的性能影响显著，为注意力机制的进一步研究及设计提供了新的思路和方向。
Apr, 2019
深度神经网络中人和机器关注的更多理解
通过对机器注意力机制和人类视觉注意力关系的系统研究，本文发现人类关注可以作为注意驱动任务有意义的基准，并证明更接近人工注意力机制的性能更好，同时更好的注意力对于更高级别的计算机视觉任务的可解释性也有显著提升。
Jun, 2019