机器学习模型的可靠性和可信度要求其决策具有可解释性，尤其在安全关键应用中，模型预测和解释（作为特征归因）对微小且不可察觉的输入扰动要具有鲁棒性。最近的研究表明许多归因方法是脆弱的，并提出了改进这些方法或模型训练的方法。我们观察到脆弱归因的两个主要原因：首先，现有的鲁棒性度量指标（例如，top-k 交集）对于合理的本地归因偏移进行了过度惩罚，因此使得随机扰动呈现出强攻击的效果；其次，即使图像中存在多个重要部分，归因可以集中在一个小区域中。为了纠正这一点，我们提出了一些简单的方法来加强现有的度量指标和归因方法，这些方法将像素的局部性纳入鲁棒性度量指标中，并将像素位置的多样性纳入归因中。关于模型训练在归因鲁棒性中的作用，我们经验证实对抗性训练的模型在较小的数据集上具有更鲁棒的归因，然而，在较大的数据集中，这种优势消失了。代码可在此 https URL 获得。

Dec, 2023

本文重点研究时间序列分析，对比了几种最先进的卷积分类器解释方法，发现扰动法是较优选项，但也强调选择最适合的归因方法与所需用例的选择密切相关。

Feb, 2022

为了解决生成 “黑盒” 深度学习模型准确解释的需要，本论文提出了一种基于模型不可知的、敏感性敏感度和信任度为核心的评估方法。该方法通过对多种卷积神经网络解释方法进行比较来验证其可行性，并探讨了敏感性与信任度的关系及该方法在其他领域的应用

Jun, 2023

本文介绍了解释深度神经网络的渐变解释性方法，讨论了这些方法如何评估其鲁棒性以及鲁棒性在产生有意义的解释方面的作用，并探讨了渐变方法的局限性和选择解释方法之前应该考虑的最佳实践和属性。

Jul, 2021

本文研究了关于文本模态下解释方法的鲁棒性及针对文本解释方法的对抗攻击，结果表明，输入语句及其语义的微小改变可以在很大程度上扰乱解释方法，达到 86% 的成功率。

Jun, 2022

我们认为解释的稳健性 —— 也就是说，类似的输入应该产生类似的解释 —— 是可解释性的关键因素。我们引入了度量稳健性的指标，并证明了目前的方法在这些指标下表现不佳。最后，我们提出了如何对现有的解释方法强制实施稳健性的方法。

Jun, 2018

本研究旨在对四种基于梯度的属性方法进行分析，并在图像和文本分类领域的多个数据集上测试这些方法，提出了一种新的评估指标 Sensitivity-n，并在改进一些方法后建立了一个统一框架，使这些方法能够进行直接比较和更容易实现。

Nov, 2017

评估对非敌对扰动的稳健性并分析神经网络和表格数据集上应用的可解释 AI 方法的稳健性，展示如何利用流形假设和集成方法对稳健性进行深入分析。

Jun, 2024

机器学习和深度学习模型在教育领域中非常重要，尤其是在预测学生成功方面。本研究通过使用九种不同的解释方法并进行综合分析，探索这些方法在生成解释过程中之间的一致性与预测模型性能之间的相关性。运用 Spearman 相关性分析，我们的发现显示模型的性能与解释方法之间的一致性水平存在非常强的相关性。

May, 2024

本文针对特征归因方法在存在输入和模型扰动时的鲁棒性问题，通过理论分析和实验验证探究了基于移除特征的归因方法在扰动情况下的稳健性。

Jun, 2023