无需训练数据，解释神经网络

Jun, 2022

Explaining Neural Networks without Access to Training Data

Sascha Marton, Stefan Lüdtke, Christian Bartelt, Andrej Tschalzev, Heiner Stuckenschmidt

TL;DR本文介绍了一种机器学习任务来理解神经网络中的可解释函数，并将该框架扩展到标准和软决策树作为替代模型的情况，并通过考虑更现实的分布来生成训练数据来使其适用于更加现实的任务，并在实验中表明其具有优秀的性能。

Abstract

We consider generating explanations for neural networks in cases where the network's training data is not accessible, for instance due to privacy or safety issues. Recently, $\mathcal{I}$-Nets have been proposed

neural networks interpretability machine learning soft decision trees training data

发现论文，激发创造

InterpNET: 可解释深度学习的神经内视

本文提出了一种新的解释性神经网络框架，可以生成自然语言的分类解释，试图弥合人类推理和深度神经网络推理相差的鸿沟。该模型在 CUB 鸟类分类和解释数据集上获得了 METEOR 分数 37.9，为目前最高水平。

Oct, 2017

利用归因使神经网络可解释化：应用于隐式信号预测

本文提出了一种新型的可解释深度神经网络的解释，通过使用掩蔽权重，可以将隐藏特征分解成几个输入限制的子网络，并训练成专家混合的增强模型，为复杂的机器学习模型提供说明，提高其效率，并实现了对合理解释进行推荐任务。

Aug, 2020

LioNets: 通过次最终层解码对神经网络进行本地解释

通过考虑神经网络的架构，在局部范围内主动构建实例邻域的过程中，提供用于神经网络决策的解释的方法。

Jun, 2019

深度神经网络解释

研究了两种深度神经网络解释说明的主流方向，一种是基于特征的事后解释方法，另一种是自解释的神经网络模型，并生成自然语言解释。

Oct, 2020

神经网络自然语言处理的事后可解释性：一项综述

本文主要讨论了近期后续方法如何向人类传达模型解释的分类，深入讨论了每种方法及其验证过程。

Aug, 2021

从神经网络中学习准确且可解释的决策规则集

本文提出了一种新的范式，使用一个可解释的二层神经网络学习一组独立的逻辑规则作为分类的模型，并提出一种基于稀疏性的规则得出算法，相比其他学习算法和黑匣子模型，该方法可以在分类准确性和简单性之间取得更好的平衡。

Mar, 2021

一种可解释性近似理论

通过简单特征的决策树是否能够逼近深度神经网络的问题，以及该问题的变体，正是对可由人类解释的机器学习模型不断增长的需求。本文通过引入可解释逼近的概念来研究这些问题，这一概念捕捉了通过一些基类概念的小聚合来逼近目标概念 c 的想法。我们的主要贡献是：对于给定的 H 和 c，对于任何给定的 pair，只有下列三种情况之一成立：(i) c 无法以任意精度通过 H 来逼近；(ii) c 可以以任意精度通过 H 来逼近，但不存在一种普遍的速率来限制逼近的复杂度与精度之间的关系；或者 (iii) 存在一个只依赖于 H 和 c 的常数 kappa，对于任何数据分布和任何期望的精度水平，c 可以通过 H 来逼近，并且复杂度不超过 kappa。这种分类法与监督分类的情况形成鲜明对比，后者提供了复杂的分布自由和普遍可学习的场景。我们表明，在可解释逼近的情况下，即使对逼近的复杂度有一个略微非平凡的先验保证，也可以得到具有常数（与分布和精度无关）复杂度的逼近。我们将我们的分类法扩展到具有无界 VC 维度的类 H，并给出了基于 H 生成的代数的可解释性的特征。

Jun, 2024

可解释性作为统计推论

通过统计推断方法构建了一种概率模型，通过学习模型参数和使用神经网络选择器来实现解释性预测，并利用新数据集进行了实验验证，证明了使用多重插补提供了更合理的解释。

Dec, 2022

一种可逆的解缠结表示网络，用于解释潜在表示

提出了可逆解释网络，可以透明地应用于现有的神经网络架构，将原始表示转换为等效但可解释的表示，并通过仅草绘两个图像和无监督策略定义语义概念，以解释图像生成网络的分类和生成。

Apr, 2020

使用非负概念激活向量和决策树进行基于概念的卷积神经网络模型解释

本文通过基于概念提取的解释器训练决策树，以增加 CNN 模型的可解释性并提高解释器的保真度和性能。研究表明，Tree-ICE 在可解释性方面胜过基准，并生成更易读的模式解释。

Nov, 2022