深度学习中神经注意力模型调查

Mar, 2021

Attention, please! A survey of Neural Attention Models in Deep Learning

Alana de Santana Correia, Esther Luna Colombini

TL;DR该综述旨在提供一种全面的神经注意力模型开发和应用的现状和趋势的分析，系统回顾了数百种注意力模型的体系结构和应用，特别关注于卷积网络、循环网络和生成模型，描述了其在不同应用领域和神经网络可解释性上的影响。

Abstract

In humans, attention is a core property of all perceptual and cognitive operations. Given our limited ability to process competing sources, attention mechanisms select, modulate, and focus on the information most

attention neural attention models deep learning convolutional networks recurrent networks

发现论文，激发创造

注意力模型概述

本文系统总结了注意力模型在神经网络中的应用、发展及其影响。该文提出了一种分类系统，系统地讨论应用、体系结构和注意力在提高神经网络可解释性方面的作用，同时探讨未来关于注意力的研究方向。

Apr, 2019

深度学习中的视觉注意方法：深入调查

本文阐述了注意力机制在深度学习的应用，提出缺乏对于注意力技术的综合研究和分类的问题，描述了 50 种注意力技术分类的细节，并建议未来深度学习对注意力机制的研究方向。

Apr, 2022

自然语言处理中的注意力

本文提出一种统一的注意力机制模型，针对自然语言处理领域中基于文本数据向量表示的注意力机制的四个维度进行了分类。本文通过举例说明如何在注意力模型中利用先前信息，并讨论了该领域正在进行的研究工作和开放性挑战。这是该领域中广泛文献的首次广泛分类。

Feb, 2019

深度神经网络中人和机器关注的更多理解

通过对机器注意力机制和人类视觉注意力关系的系统研究，本文发现人类关注可以作为注意驱动任务有意义的基准，并证明更接近人工注意力机制的性能更好，同时更好的注意力对于更高级别的计算机视觉任务的可解释性也有显著提升。

Jun, 2019

人类注意力建模的趋势、应用与挑战

人类注意力建模在近年来已被证明特别有用，不仅用于理解视觉探索的认知过程，还可以为旨在解决各个领域问题的人工智能模型提供支持。本综述对近期将人类注意机制整合到当代深度学习模型中的努力进行了理性概述，并讨论了未来的研究方向和挑战。

Feb, 2024

注意力的夸克

本文研究了注意力机制的基本构建块及其计算性质，提出三种最重要的机制：加性激活注意力，乘性输出注意力（输出门控）和乘性突触注意力（突触门控），并证明加性激活注意是基本电路的下限证明中的重要角色。

Feb, 2022

边际概率就足够了吗？

本篇论文提出了关于注意机制的贝叶斯基础，将不同的机器学习注意力架构统一起来，并且提出了与神经科学中的机制相关的桥梁。

Apr, 2023

学习视觉注意力生成模型

通过利用关注机制的生成学习框架，可以将图像中感兴趣的区域传递给生成建模的标准表征，并集中精力在感兴趣的对象上，从而建立新面孔的生成模型。

Dec, 2013

在神经网络内建模潜在注意力

本研究提出了一种可解释的方法，能够可视化神经网络中的内在机制和其对输出的影响，从而提高了深度神经网络的可解释性和决策过程，研究的主要贡献是提出了一种数据集中心的算法，适用于多个领域的深度神经网络结构。

Jun, 2017

从认知到计算：人类注意力与 Transformer 架构的比较综述

人类注意力机制和 Transformer 模型在容量约束、注意路径和意图机制等方面存在显著差异，本文从认知功能的角度进行比较分析，旨在揭示一些开放性研究问题并鼓励跨学科努力，以从人类注意力机制中获得洞察，进而发展更普适的人工智能。

Apr, 2024