用于比较解释模型的概率 Lipschitzness 和稳定秩

Feb, 2024

用于比较解释模型的概率 Lipschitzness 和稳定秩

Probabilistic Lipschitzness and the Stable Rank for Comparing Explanation Models

Lachlan Simpson, Kyle Millar, Adriel Cheng, Cheng-Chew Lim, Hong Gunn Chew

TL;DR该研究论文探讨了可解释性模型中概率 Lipschitz 性以及稳定秩与神经网络的关联，并提出了一种新的指标，正则灵巧度，用于比较可解释性模型的稳健性。研究还揭示了稳定秩与可解释性模型的稳健性之间的关联。

Abstract

explainability models are now prevalent within machine learning to address the black-box nature of neural networks. The question now is which explainability model is most effective. probabilistic lipschitzness ha

explainability models probabilistic lipschitzness neural network post hoc explanations stable rank

发现论文，激发创造

关于扰动和梯度解释的统一和鲁棒性

研究了两种流行的机器学习解释技术：基于梯度的 SmoothGrad 方法和一种基于扰动的 LIME 方法，并通过数学推导证明它们在期望上产生相同的解释。通过在合成和真实世界数据集上进行广泛实验验证了理论模型。

Feb, 2021

评估深度神经网络解释质量的算法稳定性指标

我们提出了两个新的用于评估解释的度量标准：平均泛化 MeGe 和相对一致性 ReCo，并发现基于 1-Lipschitz 网络的解释比基于传统神经网络的解释更具可靠性和解释性。

Sep, 2020

建立可靠的神经网络解释：模型解释的局部平滑视角

本研究提出了一种基于光滑景观的预测且稳定的神经网络模型解释方法，通过批量学习噪声复制品并采用 L1 规范化方法对显著性地图进行训练，使模型学习得到局部光滑模型解释，有效地找出与预测结果相关的输入要素并且在对抗样本测试中表现优异。

Mar, 2021

带有概率保证的神经网络的鲁棒的反事实解释

通过引入 “自然发生的模型变化” 这种数学抽象概念，提出了一种能度量不同模型下反事实解释的鲁棒性的度量标准，该标准称为 “稳定性”，并证明了当该度量标准足够高时，针对高斯函数的稳定性也足够高，能够有效解决不同模型之间的反事实解释一致性问题。

May, 2023

S-LIME: 模型解释的稳定化 LIME

研究黑盒机器学习模型的解释方法，提出一种基于中心极限定理的假设测试框架方法，名为 S-LIME，以保证解释结果的稳定性，实验结果在模拟和真实数据集上表明该方法的有效性。

Jun, 2021

LIME 模型在文本分类中解释结果的稳定性分析：对抗扰动的探究

本文验证了先前文献指出的 LIME 对于无序数据稳定性较低的趋势，并在文本数据上探索了 LIME 的稳定性。

May, 2023

基于局部不变学习的本地不变解释：实现稳定单向解释

提出了一种基于不变风险最小化 (IRM) 原则的模型无关局部解释方法，该方法能够稳定、直观地生成高保真度解释，该方法通过消除黑盒函数梯度在附近范围内突然变化的特征，实现了与实际邻居方法相当甚至更好的解释质量，同时没有必要花费过多时间来学习邻居结构。

Jan, 2022

合理的权利：通过限制模型解释进行可微分模型训练

该论文提出了一种基于梯度的快速、高效的方法，用于解释和规范神经网络模型，通过检查和有选择地惩罚其输入梯度，以提供法线，进而改善模型的透明度和可靠性，以避免在训练和测试条件不同时出现错误原因，其效果在多个数据集上验证成功。

Mar, 2017

可靠的事后解释：解释性中的不确定性建模

本文提出了基于贝叶斯框架的黑盒模型解释方法，能够生成可靠的局部解释和其关联的不确定性，并且具有稳定性和高度一致性，可以快速地解决几个重要问题。通过实证研究，证明了该方法的有效性，并提高了解释的可靠性。

Aug, 2020

LIPEx -- 局部可解释性概率解释 -- 超越真实类别

本研究介绍了一种新型的基于扰动的多类别解释框架 LIPEx（局部可解释的概率解释），证明 LIPEx 不仅可以局部复制广泛使用的复杂分类模型输出的概率分布，而且还可以提供关于每个被认为重要的特征如何影响每个可能类别的预测概率的见解。研究通过根据概率分布空间中的 Hellinger 距离执行的回归获得解释的矩阵。对文本和图像数据进行的消融测试表明，与其他基于显著性或特征重要性的 XAI 方法相比，LIPEx 指导下从数据中移除重要特征会对底层模型的预测产生更大的变化。研究还表明，与 LIME 相比，LIPEx 在可靠评估解释所需的扰动数量上具有更高的数据效率。

Oct, 2023