本文提出利用区分维度约简的二维可视化方法将深度神经网络决策函数的一部分以及数据集的一部分可视化，从而检测模型对数据的不同属性（如异常值、对抗样本或毒瘤数据）的处理方式，该方法与现有文献中的解释方法互补，更有应用前景。

Sep, 2019

本研究介绍了 Network Dissection 方法，通过为深度视觉表示的单元提供标签来解释网络。该方法量化了 CNN 表示的可解释性，通过评估单个隐藏单元和一组视觉语义概念之间的对齐来识别最佳对齐，认定单位为人类可解释标签。研究发现，深度网络是比预期更加透明和可解释的，并且可用于提供 CNN 对图像的解释预测，以增强其可解释性，这是深度神经网络的重要属性，提供了对其分层结构的新的洞见。

Nov, 2017

使用知识蒸馏技术将深度神经网络转换成决策树，以同时实现较好的性能和可解释性，并比基准决策树模型获得显著更高的精度，在 TensorFlow 平台上实现对大数据集的可扩展性。

Dec, 2018

本研究提出了一种称为网络切片的通用框架，通过评估个体隐藏单元与一组语义概念之间的对齐来量化 CNN 的潜在表示的可解释性。该方法使用广泛的视觉概念数据集来评估中间卷积层中隐藏单元的语义。使用该方法测试单元的可解释性是否等同于单元的随机线性组合，然后将其应用于比较训练不同监督和自监督任务的各种网络的潜在表示。进一步分析了训练迭代的效果、比较了不同初始化的网络的效果、检查了网络深度和宽度的影响，并测量了深度视觉表示的可解释性的 dropout 和批标准化的影响。结果表明该方法能够揭示超出 CNN 模型和训练方法辨别能力之外的一些特征。

Apr, 2017

探讨各种用于计算机视觉任务的深度神经网络的解释器和解释系统，比较了几篇有关可解释性的调查论文，并归纳出了进一步的研究方向。

Nov, 2019

通过使用简化模型表示来研究深度学习系统的常见方法存在假设，即简化表示的结果忠实于原始模型。然而，该研究发现即使简化表示在训练集上可以准确近似全模型，它们也可能在分布之外无法准确捕获模型的行为，这导致了理解上的幻觉。通过使用控制数据集和模型简化工具，研究发现简化表示通常在分布之外具有较低的忠实度，并且存在一些情况简化版本可能失败或更好地进行泛化。这些结果提出了使用奇异值分解等工具进行机械解释时准确预测模型在新情况下行为的可靠性的问题。

Dec, 2023

DimVis 是一个利用监督可解释的增强机器模型的可视化工具，通过交互式探索 UMAP 投影来提供高维数据分析的特征相关性解释，在转化复杂数据集为简单视觉表示时，增加了解释性，并解决了引入人为失真和解释性问题的困扰。

Feb, 2024

本文提出了一种基于内部特征及可视化的方法，能够自动识别预先训练模型中与给定类相关的特征，以进行深度模型的解释和阐释，并且提出了一种针对 deconvNet 可视化操作引入的伪像问题的方法，同时还提出了一个专门用于视觉解释方法客观定量评估的数据集 an8Flower。实验证明，该方法在 MNIST、ILSVRC12、Fashion144k 和 an8Flower 数据集上能够产生具有良好主题相关特征覆盖的详细解释。

Dec, 2017

通过使用可解释的模型，我们研究如何从复杂图像数据中得出科学洞见，并通过实现解缠表示学习、稀疏深度神经网络训练和符号回归等方法，对复杂图像数据形成可解释的模型进行评估，以及探索这些可解释模型在揭示潜在生物现象方面的用途。

Feb, 2024

该论文提出了一种通过量化和分析深度神经网络 (DNN) 中间层编码的与任务相关和任务无关的视觉概念来解释知识蒸馏成功的方法。作者设计了三种数学度量来评估 DNN 的特征表示。在实验中，对各种 DNN 进行了诊断，并验证了上述假设。

Mar, 2020