通过解释神经网络学习到的权重,我们开发了一种新的框架来检测前馈多层神经网络捕捉到的统计交互关系,能够达到与现有技术相当甚至更好的交互检测性能,证明了非线性激活函数和权重矩阵对输入特征之间的互动关系的作用和重要性。
May, 2017
本文提出了一种简单且高度通用的方法来解释神经网络推理过程中的相互作用部分。我们设计了一种基于交叉导数的算法,用于计算个体特征之间的统计交互效应,该方法适用于2阶和高阶(3阶或更高阶)交互项。此外,我们将交叉导数扩展到计算机视觉领域,提出了一种称为Taylor-CAM的方法,可以解释神经网络跨多个对象的关系推理过程。我们展示了我们的解释在定性和定量上的成功,并通过用户研究进行了验证。
Jun, 2020
本文介绍了一个交互式框架i-Algebra,它是一个首创的库,由原子、可组合的操作符组成,通过使用声明性查询语言,用户可以构建不同的分析工具,包括“钻取”,“比较”,“假设分析”等,用户研究表明,i-Algebra具有良好的可用性,其在深度神经网络的解释性方面有着广泛的应用。
Jan, 2021
本文探讨了神经网络模型中输入变量之间互动和由此定义出的概念所代表的意义是否真实可靠,经过大量实证研究,发现训练良好的神经网络模型往往可以获得稀疏、可转移和有区分性的概念,这部分与人类观点相符合。
Feb, 2023
提出了一种基于深度神经网络的自然语言处理模型的非对称特征交互解释模型,利用有向交互图表示解释,实验结果表明该模型在情感分类数据集上识别有影响的特征方面表现优异。
May, 2023
利用人工合成数据和一种新的深度神经网络架构,可以控制误发现率并实现最大统计功率,提高DNN的可解释性。
Sep, 2023
该研究探索了深度神经网络的解释性人工智能,并开发了一种从共享的网络中提取交互信息的方法,以更好地反映不同网络之间的共享知识。
Jan, 2024
该研究探讨了深度神经网络(DNN)学习交互的动态。研究发现DNN学习交互的过程分为两个阶段,并验证了高阶交互相较于低阶交互有较弱的泛化能力,从而解释了DNN的泛化能力在训练过程中的变化。
May, 2024
本研究解决了深度神经网络(DNN)学习交互的动态特性这一问题。提出了一个新的理论框架,揭示了DNN如何在不同复杂性的交互之间逐渐编码,从而解释了其从欠拟合到过拟合的泛化能力变化。实验结果表明,该理论能有效预测多种DNN在不同任务上的实际学习动态。
Jul, 2024
本研究解决了深度神经网络(DNN)逐层提取新知识及遗忘噪声特征的过程,填补了对知识定义的不一致性和层间互动的理解空白。通过首次提取中间层编码的互动,量化并跟踪每一层在前向传播中的新兴和遗忘的互动,揭示了DNN学习行为、泛化能力的变化及特征表示的不稳定性。
Sep, 2024