DeepROCK:深度神经网络中的误差受控交互检测
DeepLIFT是一种通过反向传播将神经网络对特定输入的输出预测分解为网络中所有神经元对每个输入特征的贡献的方法,可用于提高网络解释性并有助于揭示其他方法中可能被忽略的依赖关系。
Apr, 2017
通过解释神经网络学习到的权重,我们开发了一种新的框架来检测前馈多层神经网络捕捉到的统计交互关系,能够达到与现有技术相当甚至更好的交互检测性能,证明了非线性激活函数和权重矩阵对输入特征之间的互动关系的作用和重要性。
May, 2017
本研究提出了一种新的深度学习方法——DeepPINK,结合特征选择和控制误差率的想法来增加深度神经网络的可解释性和可重现性,并在模拟和真实数据集上展示了其实用性。
Sep, 2018
本文提出了一种简单且高度通用的方法来解释神经网络推理过程中的相互作用部分。我们设计了一种基于交叉导数的算法,用于计算个体特征之间的统计交互效应,该方法适用于2阶和高阶(3阶或更高阶)交互项。此外,我们将交叉导数扩展到计算机视觉领域,提出了一种称为Taylor-CAM的方法,可以解释神经网络跨多个对象的关系推理过程。我们展示了我们的解释在定性和定量上的成功,并通过用户研究进行了验证。
Jun, 2020
本文回顾了超过300种内部可解释性技术,并引入了一种分类方法,介绍了它们对神经网络的什么部分(权重、神经元、子网络或潜在表示)进行解释,以及它们是在训练期间(内在)还是在训练后(事后)实现的。这篇文章强调了诊断、调试、敌对性和基准测试在未来研究中的重要性,以便使可解释性工具在实际应用中更有用。
Jul, 2022
本文提出了一种基于多项式交互网络的模型xDeepInt,可用于学习在端到端方式中高阶矢量交互作用,并能平衡矢量与位交互作用的混合。通过将子空间交叉机制整合到模型中,我们可以在有限的订单内平衡二者特征交互的组合,并通过自定义的联合优化策略进行特征选择和交互选择,显著优于现有模型。
Jan, 2023
本论文通过重新定义相互作用的定义,提出了基于信仰度和简洁性的相互作用说明的两种类型(AND和OR相互作用),并设计了技术来提高说明的简洁性,同时不影响它们的信仰度。因此,可以用一组符号概念来准确、简洁地解释DNN的推理逻辑。
Apr, 2023
通过引入交互张量来分析数据和模型的特征交互,我们提出了特征学习的概念框架,并在其基础上推导了一些理论结果,包括解释广义推广误差相等性等现象的理论构建,从而增进我们对特征学习的理解。
Jun, 2023
本研究解决了深度神经网络(DNN)学习交互的动态特性这一问题。提出了一个新的理论框架,揭示了DNN如何在不同复杂性的交互之间逐渐编码,从而解释了其从欠拟合到过拟合的泛化能力变化。实验结果表明,该理论能有效预测多种DNN在不同任务上的实际学习动态。
Jul, 2024
本研究解决了深度神经网络(DNN)逐层提取新知识及遗忘噪声特征的过程,填补了对知识定义的不一致性和层间互动的理解空白。通过首次提取中间层编码的互动,量化并跟踪每一层在前向传播中的新兴和遗忘的互动,揭示了DNN学习行为、泛化能力的变化及特征表示的不稳定性。
Sep, 2024