输入单元关注减少循环神经网络消失性显著性

Oct, 2019

输入单元关注减少循环神经网络消失性显著性

Input-Cell Attention Reduces Vanishing Saliency of Recurrent Neural Networks

Aya Abdelsalam Ismail, Mohamed Gunady, Luiz Pessoa, Héctor Corrada Bravo, Soheil Feizi

TL;DR通过分析神经网络的显著性与循环神经网络的结构，我们发现传统结构不能解决时间上显著性消失的问题，我们提出了一种新的输入 - 细胞注意力 RNN 结构，它能够在任意时刻检测到重要特征，不仅仅在后来的时间步中，这对于 FMRI 数据分析等任务具有广泛的应用。

Abstract

Recent efforts to improve the interpretability of deep neural networks use saliency to characterize the importance of input features to predictions made by models. Work on interpretability using saliency-based methods on Recurrent Neural Networks (RNNs) has mostly targeted language tas

saliency-based methods recurrent neural networks vanishing saliency problem input-cell attention rnn functional magnetic resonance imaging

发现论文，激发创造

基于注意力的 RNN 模型在计算机视觉中的应用调查

本文探讨使用循环神经网络中 attention 机制解决序列到序列问题的方法，并介绍相关的应用于计算机视觉中的算法并验证其优越性，同时也提出了未来的研究方向。

Jan, 2016

一种基于 LSTM 的显著性关注模型用于预测人眼注视点

提出了一种基于卷积 LSTM 的新型模型，结合神经注意机制，可预测准确的显著图，并学习一组使用高斯函数生成的先验图，这种模型在公共显著性预测数据集上表现优于现有技术，可以克服人眼注视典型的中心偏差，并且对于不同的情境展现了关键组件各自的贡献。

Nov, 2016

学会关注

通过加入可训练的注意力模块，使得卷积神经网络在进行图像分类时能够更好地聚焦于感兴趣的区域，进一步提高了模型的稳健性。

Apr, 2018

在时间序列预测中进行深度学习可解释性基准测试

本篇论文研究了基于 saliency 的可解释性方法在时间序列数据上的应用，提出并比较了多种 saliency 方法在不同神经网络结构上的性能，并提出多种指标进行评估，发现常规的网络结构和 saliency 方法难以可靠和精确地识别时间序列数据中特征的重要性，这主要是由于时间和特征领域的混淆所导致的，但使用文中提出的两步形式的时间 saliency rescaling 方法可以显著提高 saliency 图的质量。

Oct, 2020

为循环神经网络中的神经元增加关注度

本文提出在 RNN block 中添加 Element-wiseAttention Gate 来实现注意力功能，通过元素级而不是输入级的自适应调节，从而提高 RNN 的效能，在人体动作识别任务中进行了实验并验证了该方法的有效性。

Jul, 2018

注重显著性：使用显著性和上下文注意力进行图像字幕生成

本文提出了一种基于生成循环神经网络的图像字幕方法，它可以利用一个显著性预测模型在生成字幕时集中于图像不同的部分，并通过大规模数据集上的广泛定量和定性实验证明该模型相比不带显著性和不同的最先进的显著性与字幕结合方法具有卓越的性能。

Jun, 2017

人工神经网络中的被动关注机制预测人类视觉选择性

通过 79 个实验和 7,810 个实验参与者的数据研究，揭示了同人类视觉选择性估计有显著重叠的被动关注技术，指出使用引导反向传播方法探测相对简单的神经网络架构产生的输入可视化是预测共享成分的最佳选择，这些结果帮助我们通过比较不同模型在图像信息选择性方面的相似性和差异性来评估领先的神经网络模型作为人类视觉模型的生物学和心理学的有效性。

Jul, 2021

EleAtt-RNN：为循环神经网络中的神经元添加注意力机制

本研究提出了一种名为 Element-wise-Attention Gate 的方法，该方法可以被简单地添加到任何递归神经网络中，以实现对输入向量元素的不同重要性级别进行注意力调控，从而显着提高其表现。

Sep, 2019

面向条件序列处理的聚焦分层循环神经网络

提出了使用基于注意力机制的人工神经网络（RNNs）来实现序列建模任务的机制，它允许 RNNs 关注需要的输入的关键部分。通过使用一个多层的有条件序列编码器，读取一个令牌并对其进行离散的决策，来控制信息流入以上层。此方法在几种任务类型上进行评估，包括各种属性的合成任务以及大规模的问答任务，并且相对于已有的基准模型，都得到了一致的性能改进。

Jun, 2018

门控循环神经网络发现注意力

近期的研究发现具备线性循环层和前馈路径的带有乘性门控模式的循环神经网络（RNNs）能够实现线性自注意力，这是 Transformer 的主要组成部分之一。通过对一组训练过的 RNNs 进行逆向工程，我们发现在实践中梯度下降法会找到我们构建的机制。这项研究结果强调了神经网络中乘性交互的重要性，并暗示某些 RNNs 可能在内部意外地实现了注意力机制。

Sep, 2023