在神经网络内建模潜在注意力

Jun, 2017

Modeling Latent Attention Within Neural Networks

Christopher Grimm, Dilip Arumugam, Siddharth Karamcheti, David Abel, Lawson L.S. Wong...

TL;DR本研究提出了一种可解释的方法，能够可视化神经网络中的内在机制和其对输出的影响，从而提高了深度神经网络的可解释性和决策过程，研究的主要贡献是提出了一种数据集中心的算法，适用于多个领域的深度神经网络结构。

Abstract

deep neural networks are able to solve tasks across a variety of domains and modalities of data. Despite many empirical successes, we lack the ability to clearly understand and interpret the learned internal mechanisms that contribute to such effective behaviors or, more critically, fa

deep neural networks interpretability attention masks decision-making process data modality

发现论文，激发创造

注意力网络中的深度特征分析

该研究提出了一种基于注意力机制的深度神经网络模型解释方法，通过可视化生成的热图分析分类准确性和注意力之间的关系，并证明了使用改进注意力方法可以更好的展示分类器的解释。

Jan, 2019

深度学习中神经注意力模型调查

该综述旨在提供一种全面的神经注意力模型开发和应用的现状和趋势的分析，系统回顾了数百种注意力模型的体系结构和应用，特别关注于卷积网络、循环网络和生成模型，描述了其在不同应用领域和神经网络可解释性上的影响。

Mar, 2021

深度学习中的视觉注意方法：深入调查

本文阐述了注意力机制在深度学习的应用，提出缺乏对于注意力技术的综合研究和分类的问题，描述了 50 种注意力技术分类的细节，并建议未来深度学习对注意力机制的研究方向。

Apr, 2022

深度神经网络中人和机器关注的更多理解

通过对机器注意力机制和人类视觉注意力关系的系统研究，本文发现人类关注可以作为注意驱动任务有意义的基准，并证明更接近人工注意力机制的性能更好，同时更好的注意力对于更高级别的计算机视觉任务的可解释性也有显著提升。

Jun, 2019

人工神经网络中的被动关注机制预测人类视觉选择性

通过 79 个实验和 7,810 个实验参与者的数据研究，揭示了同人类视觉选择性估计有显著重叠的被动关注技术，指出使用引导反向传播方法探测相对简单的神经网络架构产生的输入可视化是预测共享成分的最佳选择，这些结果帮助我们通过比较不同模型在图像信息选择性方面的相似性和差异性来评估领先的神经网络模型作为人类视觉模型的生物学和心理学的有效性。

Jul, 2021

学习视觉注意力生成模型

通过利用关注机制的生成学习框架，可以将图像中感兴趣的区域传递给生成建模的标准表征，并集中精力在感兴趣的对象上，从而建立新面孔的生成模型。

Dec, 2013

深度显著性模型对视觉注意力的学习

通过分解隐含特征为可解释的基底，提出了一种新的分析框架，用于研究深度显著性模型成功背后的隐含特征、显著性预测的原理以及其对不同应用场景中的视觉注意力的影响。

Oct, 2023

关于自然语言推理的循环和注意力神经模型解释研究

本篇论文使用可视化方法解释自然语言推理任务中，使用神经网络模型的中间层的特征，为深度学习模型的解释提供了一种方法。

Aug, 2018

通过可视化因果关注实现自动驾驶车辆的可解释性学习

本研究探讨了可解释的自动驾驶车辆中使用视觉解释的方法，使乘客、保险公司、执法机构和开发人员能够理解神经网络控制模型的行为，该模型采用了视觉关注模型进行训练，并应用因果过滤步骤来确定哪些输入区域实际上影响了输出。该方法在三个数据集上进行了有效性研究，证明了其在自动驾驶行为和人类驾驶行为中的应用价值。

Mar, 2017

迈向透明 AI：深度神经网络内部结构解释综述

本文回顾了超过 300 种内部可解释性技术，并引入了一种分类方法，介绍了它们对神经网络的什么部分（权重、神经元、子网络或潜在表示）进行解释，以及它们是在训练期间（内在）还是在训练后（事后）实现的。这篇文章强调了诊断、调试、敌对性和基准测试在未来研究中的重要性，以便使可解释性工具在实际应用中更有用。

Jul, 2022