黑匣子分类器生成因果解释

Jun, 2020

Generative causal explanations of black-box classifiers

Matthew O'Shaughnessy, Gregory Canal, Marissa Connor, Mark Davenport, Christopher Rozell

TL;DR通过利用生成式模型和因果影响信息论度量，我们开发了一种方法，用于生成关于黑盒分类器的因果事后解释，方法可以学习低维度的数据表示。我们的方法学习全局和局部的解释，适用于任何具有类概率和梯度的分类器，并且不需要标记的属性或因果结构的知识。

Abstract

We develop a method for generating causal post-hoc explanations of black-box classifiers based on a learned low-dimensional representation of the data. The explanation is causal in the sense that changing learned latent factors produces a change in the classifier output statistics. To construct these explanations, we design a learning framework that leverage

causal explanations black-box classifiers generative models information-theoretic measures image recognition

发现论文，激发创造

利用生成潜空间中的对比可反事实来解释图像分类器

在不需要重新训练或调整的情况下，使用预训练的生成模型，介绍了生成因果关系和可解释的反事实解释方法，以提供对黑匣子算法的透明性，并获得对面部属性分类器的对比和因果支持和必要分数，从而展示不同属性如何影响分类器输出。

Jun, 2022

强健稳定的黑盒解释

通过敌对训练的方法，我们提出了一个生成稳健且高保真黑盒模型解释的新框架，尝试解决现有算法在受到分布偏移时缺乏稳定性和鲁棒性的问题，本文是首次尝试生成对一类有实际意义的敌对扰动具有鲁棒性的后续解释，实验发现我们的方法显著提高了解释的鲁棒性，而不会在原始数据分布上牺牲解释的保真度。

Nov, 2020

平滑解释黑匣子 —— 反事实方法

该研究提出了一种黑盒对抗解释器来解释医学应用中的图像分类模型，并通过对诊断放射学居民进行实验，发现反事实解释是唯一能显着提高用户对分类器决策理解的解释方法。

Jan, 2021

在潜在特征空间中通过学习图像示例实现黑匣子解释

通过在黑盒模型中采用对抗性自动编码器学习到的潜在特征空间，生成实例图像并学习决策树分类器的方法，从而对黑盒模型进行解释，并提供了更好的解释性能。

Jan, 2020

固有可解释 Transformer 的因果性：CAT-XPLAIN

本文针对黑匣子神经网络的后续解释方法中仍然存在的困境，提出了在设计神经网络时进行内在可解释性的研究。我们采用一个最近提出的基于实例的因果解释方法，使现有的 Transformer 架构具有内在解释能力。我们在 MNIST、FMNIST 和 CIFAR 三个图像数据集上评估了我们的方法，并证明相比于基于因果关系的后续解释模型，我们的内在可解释模型在提供更好可解释性结果的同时消除了训练单独解释模型的必要。

Jun, 2022

利用反事实推理的因果生成解释器：以 Morpho-MNIST 数据集为案例研究

提出使用因果生成学习作为解释图像分类器的可解释工具，利用生成对事实推理方法研究视觉特征和因果因素对分类器决策的影响，提供了针对可解释因果数据集的对抗解释方法，通过与 OmnixAI 开源工具进行对比，发现我们的方法提供的对事实解释更可解释，适用于生成高度可解释的对事实解释。

Jan, 2024

因果学习的生成式干预

介绍了一种学习鲁棒视觉表示的框架，该框架能够推广到新的视点、背景和场景环境，并利用干扰因素以制造人为干预特征，从而学习更加符合基础因果关系的鲁棒表示方法。实验证明，该方法提升了多个需要超出训练分布的数据集的性能，在从 ImageNet 到 ObjectNet 数据集进行无分布推广时展现出最先进的性能。

Dec, 2020

解释黑盒序列到序列模型预测的因果框架

采用黑盒结构化输入输出模型进行预测并通过干扰输入生成相关性图和解决分割问题来解释黑盒模型预测，着重于序列生成问题并采用变分自编码器来产生有意义的干扰，我们在多个 NLP 序列 - 生成任务中测试了该方法。

Jul, 2017

基于因果关系的分类结果解释

本研究提出了一种基于因果关系概念的分类器结果解释定义，并与以前提出的解释概念进行了比较和研究，同时在金融领域使用两个真实数据集进行了实验评估。

Mar, 2020

通过有意义的扰动提供黑匣子的可解释性解释

该研究提出了一种适用于任何黑盒机器学习算法的通用解释框架，并将其特化以找到对分类器决策最负责的图像部分。该方法是模型无关且可测试的，因为它基于明确且可解释的图像扰动。

Apr, 2017