该研究介绍了两个工具，用于可视化和解释深度卷积神经网络的计算过程，加速深度学习领域的发展。这些工具包括可视化神经网络在图像或视频处理过程中每一层产生的激活，并通过映射到图像空间进行的规则优化来可视化每一层的特征。

Jun, 2015

该研究提出了一种基于 DeepTracker 的可视化分析系统，结合分层索引机制、分层小满足和立体立式可视化等，帮助专家探索 CNN 训练过程中的丰富动态，更好地理解其过程并加速训练。通过三个案例研究，证明了该系统在训练 ResNet-50 模型上具有重要作用。

Aug, 2018

本文介绍了 LSTMVIS，一种用于理解循环神经网络（尤其是长短时记忆网络）隐藏状态动态的可视化分析工具，可通过结构性注释和大数据集对状态变化进行匹配和对齐，来分析论述特定的隐藏状态特性和模式。

Jun, 2016

提出了一种名为 CAManim 的 XAI 可视化方法，通过动画方式将基于 CAM 的网络激活图显示在所有层次上，从而有效地展示模型如何逐步达到最终层激活，不仅仅对模型进行定性评估，还提出了用于量化评估的新方法（ybROAD）。

Dec, 2023

本文提出了一种新的指标来量化解释性映射，以提高 Class Activation Mapping (CAM) 方法的评估和重现，通过比较不同基于 CAM 的可视化方法来证明这种新指标的适用性。

Apr, 2021

本文提出一个名为 Score-CAM 的新型可解释性模型，通过与先前基于类激活映射的方法不同的方式，通过目标类的前向传递得分获得每个激活映射的权重，在权重和激活映射的线性组合下获得最终结果。它获得了更好的视觉性能，良好的公平性，适用于识别和定位任务，以及作为调试工具。该方法摆脱了对梯度的依赖，并通过测试验证。

Oct, 2019

最近在深度学习方法学研究方面取得了一系列复杂的计算机视觉模型技术，达到甚至超过了人类的表现。然而，这些黑盒深度学习模型在可解释性和透明度方面存在一定限制，而这对将学习机器纳入涉及人类监督的敏感决策支持系统中是至关重要的。因此，解释性计算机视觉技术的发展近年来引起了越来越多的关注。在解释性计算机视觉领域中，类激活映射（CAMs）已被广泛认可和利用，以增强深度学习模型决策过程的可解释性和洞察力。本文全面概述了类激活映射方法随着时间推移的演变，并探讨了用于评估类激活映射的度量标准，并介绍了改善这些方法显著性的辅助技术。概述最后提出了未来研究的潜在方向。

Sep, 2023

通过一个称为 Concept-Monitor 的框架以及一个新的统一的嵌入空间和概念多样性度量方法，我们提出了一个通用的框架，可以自动帮助我们了解黑箱 DNN 训练进程，并且对 DNN 培训过程进行可解释的可视化，还提出了一个新的训练正则化器，以激励隐藏神经元学习不同的概念，从而改善培训表现，并应用于敌对培训、微调和网络修剪等几个情景中。

Apr, 2023

本文提出了一种新的方法，Eigen-CAM，用于生成深度卷积神经网络 (CNNs) 的类激活图，该方法通过计算 CNNs 的卷积层的特征 / 表示的主要成分来实现，且不需要更改层或重新训练模型。与目前最先进的方法相比，在弱监督目标定位任务上，Eigen-CAM 取得了高达 12% 的性能提升，并且相对于 CNNs 的全连接层的分类错误具有强鲁棒性。

Aug, 2020

本文介绍了一种名为 ActiVis 的交互式可视化系统，可用于解释深度学习模型的大规模数据集，并通过 Facebook 的机器学习平台进行了部署和迭代改进。

Apr, 2017