ICCVJun, 2020

解释深度学习中的局部、全局和高阶相互作用

PDF
TL;DR本文提出了一种简单且高度通用的方法来解释神经网络推理过程中的相互作用部分。我们设计了一种基于交叉导数的算法，用于计算个体特征之间的统计交互效应，该方法适用于 2 阶和高阶（3 阶或更高阶）交互项。此外，我们将交叉导数扩展到计算机视觉领域，提出了一种称为 Taylor-CAM 的方法，可以解释神经网络跨多个对象的关系推理过程。我们展示了我们的解释在定性和定量上的成功，并通过用户研究进行了验证。
neural networkcross derivativesinteraction effectstaylor-camexplainable deep learning
发现论文，激发创造
  • 模型、数据和特征的联合交互

    通过引入交互张量来分析数据和模型的特征交互，我们提出了特征学习的概念框架，并在其基础上推导了一些理论结果，包括解释广义推广误差相等性等现象的理论构建，从而增进我们对特征学习的理解。

    Jun, 2023

  • 分发协同功能：统一博弈论交互方法以实现机器学习可解释性

    本文介绍了一种基于博弈论的归因和 k 阶相互作用方法的统一框架，重点是解释和解释模型的透明性。作者指出，各种方法都基于其在协同方案中的政策，并介绍了基于梯度的独特方法。最后，作者提出了需要深入了解归因和交互方法的目标和上下文。

    May, 2023

  • 解释解释：深度网络的公理特征交互

    本研究介绍了 Integrated Hessians，这是 Integrated Gradients 的扩展，用于解释神经网络中的成对特征交互；与以前的方法相比，Integrated Hessians 具有更快的速度和更好的性能，适用于各种神经网络架构或类别。

    Feb, 2020

  • 探索高阶神经网络节点之间的总相关性

    我们提出了一种名为本地相关解释（CorEx）的新方法，通过首先基于数据流形上的接近程度对数据点进行聚类，以在局部尺度上捕获高阶变量相互作用（HOIs），以解决在复杂的生态系统、合作关系和人脑等领域中准确表征 HOIs 变得困难并且当 HOIs 在数据中变化时进一步加剧的问题。然后，我们使用一种名为总相关性的多变量互信息构建每个聚类中数据的潜在因子表示，以学习局部 HOIs。我们使用本地 CorEx 探索合成和真实世界数据中的 HOIs，以提取有关数据结构的隐藏见解。最后，我们演示了本地 CorEx 用于探索和解释经过训练的神经网络内部运作的适用性。

    Feb, 2024

  • 深度学习解释中高阶损失逼近和特征的影响理解

    本研究探讨了在深度学习的解释中，损失函数的 Hessian 矩阵和高阶项，以及特征间的依赖性对解释的影响，并通过实验验证了对组特征进行加权考虑可以显著提高解释的准确性。

    Feb, 2019

  • 参与和交互：视频理解的高阶物体交互

    本文提出了一种有效学习任意子对象之间的高阶相互作用的方法，用以改善细粒度视频理解的准确性，包括动作识别和视频字幕生成等领域，在两个大规模数据集 Kinetics 和 ActivityNet Captions 上取得了最先进的性能。

    Nov, 2017

  • 单纯闭包与高阶链接预测

    使用高阶交互作用模型，研究 19 个数据集的时空演化，证明高阶交互作用种类多样，同一系统类型的数据集具有一致的高阶结构模式，同时，密度与强度是高阶组织的竞争指标，并提出高阶链接预测作为模型和算法的基准问题，发现与传统的成对链接预测有根本区别。

    Feb, 2018

  • 神经时序点过程用于预测高阶和方向交互

    本论文提出了一种基于深度神经网络的模型，名为 “有向超节点时间点过程 (Directed HyperNode Temporal Point Process)”，用于预测高阶有向交互作用，具有很高的效率并经过了大量实证研究。

    Jan, 2023

  • 通过特征交互检测在文本分类上生成层次化解释

    提出了一种新方法，即检测特征交互来构建分层解释，从而可视化不同层级中单词和短语的组合方式，帮助用户理解黑匣子模型的决策过程，并在 LSTMs、CNNs 和 BERTs 三个神经文本分类器的两个基准数据集上进行了评估，通过自动和人工评估实验证明此方法提供的解释既忠实于模型，又易于解释。

    Apr, 2020

  • 增强可解释人工智能：结合 GradCAM 和 LRP 的混合方法用于 CNN 的解释性

    通过结合 GradCAM 和 LRP 方法，我们提出了一种新的技术来解释基于 CNN 的模型的输出。在这种方法中，首先对 GradCAM 方法产生的解释进行处理以去除噪声，然后将处理后的输出与 LRP 的输出逐元素相乘，最后对乘积应用高斯模糊。通过 Faithfulness、Robustness、Complexity、Localisation 和 Randomisation 等指标我们将该方法与 GradCAM 和 LRP 进行比较，发现该方法在 Complexity 方面性能更好，并且在其他指标中至少比其中一种方法表现更好。

    May, 2024