Jun, 2023

使用 innsight 包解释深度神经网络

PDF
TL;DR这篇研究论文介绍了一个名为 innsight 的 R 包，可以用于解释深度神经网络的预测结果，该包不依赖于深度学习库，由于使用了 torch 库，因此运行效率高，并且提供了可视化工具。
r packagedeep neural networksfeature attribution methodsinterpretationvisualization tools
发现论文，激发创造
  • iNNvestigate 神经网络！

    iNNvestigate 是一个处理深度神经网络的 Python 库，提供了多种分析方法和实现，以便领域专家能够理解和分析复杂神经网络结构，本文利用 iNNvestigate 进行了多种最新神经网络图像分类的分析。

    Aug, 2018

  • 理解 CNN：利用 INN 解释深度表示及不变性

    为了了解神经网络不透明的黑盒表示法，本研究提出了一种基于 INNs 的方法来恢复任务特定和已学习不变量，将其变成易于理解的语义概念，并在不影响性能的情况下进行后期解释。

    Aug, 2020

  • InterpNET: 可解释深度学习的神经内视

    本文提出了一种新的解释性神经网络框架，可以生成自然语言的分类解释，试图弥合人类推理和深度神经网络推理相差的鸿沟。该模型在 CUB 鸟类分类和解释数据集上获得了 METEOR 分数 37.9，为目前最高水平。

    Oct, 2017

  • 迈向透明 AI：深度神经网络内部结构解释综述

    本文回顾了超过 300 种内部可解释性技术，并引入了一种分类方法，介绍了它们对神经网络的什么部分（权重、神经元、子网络或潜在表示）进行解释，以及它们是在训练期间（内在）还是在训练后（事后）实现的。这篇文章强调了诊断、调试、敌对性和基准测试在未来研究中的重要性，以便使可解释性工具在实际应用中更有用。

    Jul, 2022

  • NeuroInspect: 基于神经元的调试框架通过条件可视化

    通过引入神经元为基础的调试框架 NeuroInspect，该研究提供了深度学习模型的人类可解释的调试方法，其中包括对错误的因果解释、特征可视化和假相关性缓解，从而实现了对 DL 模型错误的调试和改进。

    Oct, 2023

  • 基于引导特征反演的深度神经网络预测解释方法

    本文提出了一种基于指导特征反演框架的深度神经网络解释模型，可以确定神经网络中每个特征的贡献并提供决策过程的洞见，通过与 DNN 模型输出层目标类别的神经元进一步交互，我们强制解释结果具有类别区别能力，实验证明了我们提出的框架在提供 DNN 预测的类别判别性解释方面的有效性。

    Mar, 2018

  • 利用归因使神经网络可解释化：应用于隐式信号预测

    本文提出了一种新型的可解释深度神经网络的解释，通过使用掩蔽权重，可以将隐藏特征分解成几个输入限制的子网络，并训练成专家混合的增强模型，为复杂的机器学习模型提供说明，提高其效率，并实现了对合理解释进行推荐任务。

    Aug, 2020

  • 为深度神经网络基准测试可解释性工具

    本文提出 Trojan rediscovery 作为一项基准测试任务，以评估可解释性工具生成工程相关见解的实用价值，并设计了两种基准测试方法。最终将这些方法应用到 16 个特征归因 / 显著性方法和 9 个特征合成方法中，发现了现有工具之间的巨大差异，并指出了未来研究的方向。

    Feb, 2023

  • 神经解释器的动态推理

    本研究提出了一种名为神经解析器（Neural Interpreters）的架构，它将自我关注网络中的推理分解为一组模块，可以在宽度和深度上灵活地组成计算，并可在训练后进行容量扩展。我们的实验表明，该架构在图像分类和视觉抽象推理方面表现出了很高的性能，并能够很好地支持系统化的泛化。

    Oct, 2021

  • 用于解释模型预测的非对称特征交互

    提出了一种基于深度神经网络的自然语言处理模型的非对称特征交互解释模型，利用有向交互图表示解释，实验结果表明该模型在情感分类数据集上识别有影响的特征方面表现优异。

    May, 2023