机器学习模型的可靠性和可信度要求其决策具有可解释性，尤其在安全关键应用中，模型预测和解释（作为特征归因）对微小且不可察觉的输入扰动要具有鲁棒性。最近的研究表明许多归因方法是脆弱的，并提出了改进这些方法或模型训练的方法。我们观察到脆弱归因的两个主要原因：首先，现有的鲁棒性度量指标（例如，top-k 交集）对于合理的本地归因偏移进行了过度惩罚，因此使得随机扰动呈现出强攻击的效果；其次，即使图像中存在多个重要部分，归因可以集中在一个小区域中。为了纠正这一点，我们提出了一些简单的方法来加强现有的度量指标和归因方法，这些方法将像素的局部性纳入鲁棒性度量指标中，并将像素位置的多样性纳入归因中。关于模型训练在归因鲁棒性中的作用，我们经验证实对抗性训练的模型在较小的数据集上具有更鲁棒的归因，然而，在较大的数据集中，这种优势消失了。代码可在此 https URL 获得。

Dec, 2023

本文提出三种新的评估方案来衡量影响深度神经网络决策的图像区域，以及平衡各种评估方法之间的比较，并提出一个后处理平滑步骤来改善一些归因方法的性能。

May, 2022

本研究提出了三种评估方案以更可靠地衡量不同的图像归因方法的可信度，并在一系列模型上研究了一些广泛使用的归因方法的优缺点，并提出一种后处理平滑步骤以显著提高某些归因方法的性能。

Mar, 2023

本文针对特征归因方法在存在输入和模型扰动时的鲁棒性问题，通过理论分析和实验验证探究了基于移除特征的归因方法在扰动情况下的稳健性。

Jun, 2023

探索透视医学影像分类应用的影响映射方法和度量评估，提出 EvalAttAI 度量已有度量的局限并进行改进，结果显示：使用 Vanilla Gradient 方法的贝叶斯深度神经网络通常更具可解释性。

Mar, 2023

本研究探讨了利用特征归因方法进行机器学习的解释，提出通过修改数据集来产生真实归因的方法，并对三种常见的归因方法：显著性图、原理和注意力进行评估，发现这些方法在野外数据集中的正确性和可靠性值得怀疑，建议在部署前使用基准来测试新的归因方法。

Apr, 2021

通过利用像素图像属性来缩小机器学习模型中的偏见，本文提出了一种新方法，该方法利用卷积神经网络（CNN）分类器通过训练小图像块来提取像素属性，从而实现区域性属性，进而提供有关重要信息在图像中分布的洞察力。通过在偏倚数据集中引入有针对性的噪声，限制神经网络学习这些偏见并强调主要属性，我们的方法证明了在严重偏倚的数据集上训练无偏分类器的有效性。

May, 2024

本文评估 RemOve-And-Retrain (ROAR) 协议的可靠性，发现所得指标性能不受有关决策函数信息的影响，这种现象也被观察到在 RemOve-And-Debias (ROAD) 中，并提出了 ROAR 指标的一致模糊偏见趋势。我们的研究结果对 ROAR 指标存在的问题进行了警示。

Apr, 2023

通过改进方法，我们引入了一种名为 DoRaR 的特征归属方法，解决了透明度受限、黑盒模型等困扰，通过对 MNIST、CIFAR10 和自行合成的数据集的全面测试，证明了 DoRaR 特征归属方法能有效绕过上述问题，并有助于训练优于其他最先进特征归属方法的特征选择器。

Oct, 2023

本研究第一次进行用户研究来证明特征归因图对于 ImageNet 分类和 Stanford Dogs 细粒度分类的辅助作用，在更难的分类任务上，特征归因图并没有帮助，相反会降低人工智能和人类团队的性能，并且自动特征归因图评估指标与实际人工智能 - 人类团队的表现相关性较差，本研究提倡社区在人机互动的应用中对他们的方法进行严格的测试，并重新思考现有的评估指标。

May, 2021