概率黑盒异常归因的生成扰动分析

Aug, 2023

概率黑盒异常归因的生成扰动分析

Generative Perturbation Analysis for Probabilistic Black-Box Anomaly Attribution

Tsuyoshi Idé, Naoki Abe

TL;DR我们提出了一个概率异常归因框架，可以在黑盒回归情况下计算每个输入变量的归因得分的概率分布，从而解释与黑盒模型的异常偏差。我们展示了主流的模型无关解释方法在这个任务中不适用，并提出了一个新的框架，可以计算归因得分的预测均值和量化不确定性。我们介绍了一种变分贝叶斯算法，用于推导每个变量归因得分的分布。据我们所知，这是第一个不受偏差影响的概率异常归因框架。

Abstract

We address the task of probabilistic anomaly attribution in the black-box regression setting, where the goal is to compute the probability distribution of the attribution score of each input variable, given an observed anomaly. The training dataset is assumed to be unavailable. This ta

probabilistic anomaly attribution black-box regression xai shapley values variational bayes algorithm

发现论文，激发创造

黑盒异常归因

介绍了一种基于可能性补偿的异常归属框架，用于黑匣子机器学习模型下对异常进行归属。通过对比现有的模型无关解释方法的局限性，利用独立梯度家族函数来辨别异常，证明了该方法的实用性和有效性。

May, 2023

通过有意义的扰动提供黑匣子的可解释性解释

该研究提出了一种适用于任何黑盒机器学习算法的通用解释框架，并将其特化以找到对分类器决策最负责的图像部分。该方法是模型无关且可测试的，因为它基于明确且可解释的图像扰动。

Apr, 2017

具有可能性补偿的异常归因

该论文提出了一种基于统计逆问题的方法，使用 “可能性补偿（LC）” 计算每个输入变量的纠正值作为异常输出的责任得分，这是首个计算实值异常模型偏差责任得分的原则性框架，并在实际建筑能源预测任务中证实其实用性，得到了专家反馈的支持。

Aug, 2022

分类模型中预测不确定性的归因

本文提出一种新的框架，将路径积分、反事实解释和生成模型相结合，以获得包含少量可观察到的人工构件或噪声的归因，并通过对各种复杂度的数据集的流行基准测试进行定量评估，证明这一方法优于现有的替代方法。

Jul, 2021

形状优化中的异常检测和设计空间降维的生成模型

我们的研究提出了一种新的形状优化方法，通过减少定义新的减少子空间的原始设计变量的数量，并通过概率线性潜变量模型（如因子分析和概率主成分分析）对数据的生成过程建模，以提高全局优化算法的效率，并在优化过程中生成没有几何异常的高质量设计。

Aug, 2023

基于梯度的不确定性归因用于可解释的贝叶斯深度学习

提出了可解释和可操作的贝叶斯深度学习方法，不仅能够执行准确的不确定性量化，而且还能解释不确定性，识别其源，并提出减少不确定性影响的策略。

Apr, 2023

强健稳定的黑盒解释

通过敌对训练的方法，我们提出了一个生成稳健且高保真黑盒模型解释的新框架，尝试解决现有算法在受到分布偏移时缺乏稳定性和鲁棒性的问题，本文是首次尝试生成对一类有实际意义的敌对扰动具有鲁棒性的后续解释，实验发现我们的方法显著提高了解释的鲁棒性，而不会在原始数据分布上牺牲解释的保真度。

Nov, 2020

高斯过程的可解释学习

解释性人工智能的研究领域试图开发提供复杂机器学习方法如何进行预测的见解的方法。在这项工作中，我们探讨了高斯过程回归（GPR）背景下的特征归因问题，并在现有文献的基础上以原则性的方法定义了特征归因。我们展示了尽管 GPR 是一种高度灵活的非参数方法，但我们可以导出解释性的闭式表达式用于特征归因。使用 Integrated Gradients 作为归因方法时，我们表明 GPR 模型的归因也符合高斯过程分布，从而量化了由于模型的不确定性而产生的归因的不确定性。我们通过理论和实验证明了这种方法的多功能性和稳健性。我们还表明，在适用的情况下，GPR 归因的精确表达式比目前在实践中使用的近似方法更准确且计算成本更低。

Mar, 2024

通过极值扰动和平滑蒙版理解深度网络

本文探讨了现有扰动分析方法的一些缺点，并通过引入理论上坚实和可解释的极值扰动的概念来解决这些缺点。我们还介绍了一些技术创新来计算极值扰动，包括一个新的面积约束和一个参数化的平滑扰动系列，这些使我们能够从优化问题中去除所有可调超参数。我们分析了扰动的影响作为它们的面积的函数，展示了在刺激下深度神经网络的空间属性方面的出色灵敏度。我们还将扰动分析扩展到网络的中间层。最后，我们介绍了 TorchRay，这是一个基于 PyTorch 构建的可解释性库。

Oct, 2019

基于因果分析的归因检测对抗样本

使用涉及一系列方法来解释机器学习模型的决策，研究表明这种方法可以用于确定高属性特征的影响并检测出恶意攻击。

Mar, 2019