通过激发反向传播实现自顶向下的神经注意力

ECCVAug, 2016

通过激发反向传播实现自顶向下的神经注意力

Top-down Neural Attention by Excitation Backprop

Jianming Zhang, Zhe Lin, Jonathan Brandt, Xiaohui Shen, Stan Sclaroff

TL;DR本文提出了一种新的反向传播方案 Excitation Backprop 来通过概率化 Winner-Take-All 过程向下传递自上而下的信号以生成特定任务的 top-down attention maps，同时引入了对比注意力的概念，以使 top-down attention maps 更具有区分性，并在多个数据集上进行实验验证，取得了良好的效果。

Abstract

We aim to model the top-down attention of a convolutional neural network (CNN) classifier for generating task-specific attention maps. Inspired by a top-down human visual attention model, we propose a new backpro

convolutional neural network top-down attention excitation backprop contrastive attention weakly supervised localization

发现论文，激发创造

RNN 的激活反向传播

本研究提出了一种基于深度模型的视频内容分析方法，同时利用自顶向下的显著地图来将证据同时固定在空间和时间上，并通过模型内部表示可视化出影响深度模型输出的时空线索，进而能够在视频段中定位特定动作或字幕短语所对应的特征。

Nov, 2017

基于自下而上和自上而下的注意力机制用于图像字幕生成与视觉问答

本篇研究提出一种混合自下而上和自上而下视觉关注机制，能在对象和其他显著图像区域的水平上计算注意力权重，实现更深入图像理解，将其应用于图像字幕生成和视觉问答任务中，取得了优于现有技术的成绩。

Jul, 2017

引导式关注推理网络：告诉我该看哪里

利用弱监督学习和注意力图，我们提出了一种新的建模方法，使得注意力图成为端到端训练的自然组成部分，并通过直接从网络本身探索监督来直接在这些图上提供自我指导，从而成功地解决了以前方法中的缺点，并在语义分割任务上优于现有技术。

Feb, 2018

深度视觉注意力预测

通过深度学习网络结构，我们的视觉注意力网络从全局到本地不同范围内的多尺度特征中提取等级显著信息以预测人眼的视觉注视点，并在各种基准数据集上实现了最先进的性能表现。

May, 2017

学会关注

通过加入可训练的注意力模块，使得卷积神经网络在进行图像分类时能够更好地聚焦于感兴趣的区域，进一步提高了模型的稳健性。

Apr, 2018

自顶向下处理：自顶向下网络将反向传播与注意力结合

本研究提出了一种新的神经网络结构，它将底部网络和对称的顶部网络相结合，通过单一的统一机制实现了学习和引导注意力等两种主要功能。该模型在多任务学习基准测试中表现出竞争力，并且还能够解决一些在生物学建模中出现的神经科学问题。

Jun, 2023

学习何时何地参加

使用人类注意力地图强化深度卷积神经网络的监控信号，并将其应用于目标识别，大幅提高了准确性并生成更接近人类观察者的可解释性更强的视觉特征。

May, 2018

注意力分支网络：视觉解释的注意机制学习

本文提出了 Attention Branch Network（ABN）用于图像识别，它通过引入注意机制来表示图像的重要区域，并以分支结构扩展自顶向下的视觉解释模型，实现端到端的训练，同时提供了可视化的图像解释和获得比基准模型更高的精度。

Dec, 2018

强化注意力：利用人类的注意力进行图像字幕生成

使用两种类型的注意力机制：从上至下的语言传达信息和自底向上的视觉信号，通过提出 Boosted Attention 模型实现将它们整合在图像字幕生成任务中，从而提高了效果。

Mar, 2019

机器凝视背后：带有生物启示约束的神经网络表现出类似于人类的视觉关注

本文提出了神经视觉注意力算法（NeVA），并利用仿生视觉约束在神经网络上实现了类人的扫描路径生成。实验结果表明，该方法在类人扫描路径相似性方面优于现有无监督的人类注意力模型，同时可灵活地研究不同任务对视觉行为的影响，并在考虑不完美的视觉条件下的实际应用中表现出明显的优势。

Apr, 2022