神经元有多重要？
本文提出一个可扩展的 tensorflow 实现：神经元综合梯度 (Neuron Integrated Gradients)，并将其与 DeepLIFT 进行比较，发现 DeepLIFT 的实际应用效果更好，但缺乏 Neuron Integrated Gradients 的理论性质。
Jul, 2018
该研究探讨深度神经网络的可解释性，提出了一种基于 conductance 度量法将 DNN 的预测得分分解为隐藏单元贡献和通过二元分类器自动鉴别 DNN 错误预测的方法，该方法能够提高模型的鲁棒性。同时，加入 Wang 等人的思路，可以进一步提高错误预测的检测效果。
Oct, 2019
我们提出了一种通过检测神经网络中的信息流来分析预测的框架，该框架使用两个指标选择神经元，这些神经元既对网络输出产生巨大影响又能激活通用特征并比较不同度量筛选的神经元集合，从而提出了一种调查卷积神经网络内部注意机制的方法。
Jul, 2017
本文研究了深度网络输入特征对预测的影响，提出了敏感性和实现不变性两个公理，并指出大部分已知的边缘归因方法并不满足这两个公理。最后，作者设计了一种不需要修改原始网络的全新边缘归因方法 —— 集成梯度，并将其应用于图像、文本和化学模型中。结果表明，该方法不仅具有调试和提取规则的功能，还能够有效地帮助用户更好地使用模型。
Mar, 2017
本文介绍了一种基于分析神经网络训练过程中连接权重的演化动力学来进行有效模型选择的新型框架，并提出了神经电容指标作为预测性能的度量标准。通过对 17 个广泛使用的预先训练的 ImageNet 模型和 5 个基准数据集的大量实验，验证了神经电容指标的有效性，相比现有方法更为高效。
Jan, 2022
该研究提出一种通过在神经网络输入域上引入瓶颈层，精细地识别输入特征信息的方法，用以衡量输入特征的重要性和网络预测的相关性。研究表明该方法对网络结构不敏感，并结合主流的特征归因方法进行了评估。
Oct, 2021
本文通过使用来自维基百科概念层次结构的近 200 万类别级的大规模背景知识与一种称为 “概念归纳” 的符号推理方法，提出并演示了一种方法来自动附加有意义的标签到卷积神经网络的密集层中的个别神经元，以实现对神经元激活的解释。
Jan, 2023
近年来，神经网络展示出了从原始数据中识别复杂模式和关系的卓越能力。然而，理解这些黑盒模型的内部机制仍具挑战性，但对于高风险决策至关重要。我们的研究通过调查解释的基本和分布行为来解决这种困惑。此外，通过全面的模拟研究，我们展示了常见缩放和编码技术对解释质量的影响，评估它们在不同效应大小中的功效，并展示了基于排序的评估指标的不一致性的来源。
Apr, 2024