神经网络中知识的逐层变化
本文旨在分析预训练深度神经网络之间的知识一致性，并提出了一个泛化定义。方式是设计了一种任务不可知的方法来解开每个神经网络的原始中间层特征和表示一致知识的特征组成部分。这项工作可以用于不同应用，例如调整预训练网络以提高性能并解释基于知识蒸馏和网络压缩等深度学习技术成功的原因。
Aug, 2019
本文提出了一种度量深度神经网络在训练过程中因果结构的度量方法，即有效信息（EI），用于评估每个层的因果影响节点和边缘在其下游目标上的度量。通过分解EI以检查每个层的敏感性、退化性和整合信息量，可以在“因果平面”上可视化每个层次的连接方式如何随时间变得更加敏感或退化，以及集成如何在训练期间改变。结果有助于理解深度神经网络的泛化能力，并为使DNN具有更高的泛化性和可解释性提供基础工具。
Oct, 2020
本文研究了深度神经网络的特征表示瓶颈，从输入变量在 DNN 中编码的交互复杂性的角度进行探讨，发现 DNN 更可能编码过于简单和过于复杂的交互，并且通常无法学习中等复杂度的交互。该现象被称为特征表示瓶颈，本文从理论上证明了其根本原因，并提出了一种损失函数来促进或惩罚特定复杂度的交互的学习，并分析了不同复杂度交互的表示能力。
Nov, 2021
本文回顾了超过300种内部可解释性技术，并引入了一种分类方法，介绍了它们对神经网络的什么部分（权重、神经元、子网络或潜在表示）进行解释，以及它们是在训练期间（内在）还是在训练后（事后）实现的。这篇文章强调了诊断、调试、敌对性和基准测试在未来研究中的重要性，以便使可解释性工具在实际应用中更有用。
Jul, 2022
从交互概念的角度解释深度神经网络的泛化能力，定义交互概念的复杂性，发现简单概念可以更好地推广到测试数据，研究发现学习复杂概念的绕道动态解释了复杂概念的高学习难度和低泛化能力。
Feb, 2023
本论文通过重新定义相互作用的定义，提出了基于信仰度和简洁性的相互作用说明的两种类型（AND和OR相互作用），并设计了技术来提高说明的简洁性，同时不影响它们的信仰度。因此，可以用一组符号概念来准确、简洁地解释DNN的推理逻辑。
Apr, 2023
该研究探讨了深度神经网络(DNN)学习交互的动态。研究发现DNN学习交互的过程分为两个阶段，并验证了高阶交互相较于低阶交互有较弱的泛化能力，从而解释了DNN的泛化能力在训练过程中的变化。
May, 2024
本研究解决了深度神经网络（DNN）学习交互的动态特性这一问题。提出了一个新的理论框架，揭示了DNN如何在不同复杂性的交互之间逐渐编码，从而解释了其从欠拟合到过拟合的泛化能力变化。实验结果表明，该理论能有效预测多种DNN在不同任务上的实际学习动态。
Jul, 2024