Oct, 2023

基于特征重要性的视觉解释方法的稳定性，正确性和可信度

PDF
TL;DR在可解释性人工智能领域，本文研究了基于图像分类器特征重要性的解释方法的稳定性、正确性和合理性之间的关系，并指出现有的评估指标并不总是一致的，进而提出了考虑被测模型的局部行为的新型评估指标。
explainable aievaluation metricsexplanation methodsfeature importanceimage classifiers
发现论文，激发创造
  • 关于视觉解释的定量评估的一致性

    研究神经网络的预测可视化解释，并评价这些解释的好坏。其中，绝大多数评价方法使用 ImageNet-1k 和人工检测评估结果，结果表明评价方法之间缺乏一致性。同时，解释的稀疏性对评价方法的表现具有显著影响。

    Feb, 2023

  • 稳健性分析解释的评估和方法

    本文提出一种基于鲁棒性分析的特征解释新的评估标准，通过针对我们提出的评估标准进行优化，获得了松散且必要的解释和可以将当前预测移动到目标类的特征集。我们通过多领域实验和用户研究验证了我们评估标准和解释的有用性。

    May, 2020

  • 您能相信您的解释吗？特征归因方法的健壮性测试

    评估对非敌对扰动的稳健性并分析神经网络和表格数据集上应用的可解释 AI 方法的稳健性，展示如何利用流形假设和集成方法对稳健性进行深入分析。

    Jun, 2024

  • 图像解释的分类评估指标：构建可靠的可解释性人工智能评估

    计算机视觉模型的决策过程（尤其是深度神经网络）的不透明性意味着这些决策无法被人类理解。因此，在过去几年中，已经提出了许多提供人理解解释的方法。本文针对图像分类开发了新的评估指标，并对常见的显著性方法在 ImageNet 上进行了基准测试。此外，还提出了一种基于心理测评概念的可靠性评估方案。

    Jun, 2024

  • 定量评估显著性方法：实验研究

    本文基于对解释人工智能（XAI）的准确定义和公正衡量标准缺失的讨论，提出了一种广泛的实验研究，重点关注解释方法的忠实度、本地化、假阳性、敏感度检查和稳定性。实验结果表明，在当前所有方法中，梯度加权类激活映射（Grad-CAM）和随机输入抽样解释（RISE）在大多数指标上表现良好。另外，本文还提出了一种筛选指标的方法，以诊断模型分类基础，并探讨了当前指标所忽略的测量因素。

    Dec, 2020

  • 特征重要性和反事实解释的鲁棒性调查

    研究了金融领域中两类常用的局部解释方法的健壮性，给出了健壮性分析的分类方法和结果，并探讨了如何扩展分析方法以确定可靠的解释方法。

    Oct, 2021

  • 有关模型可解释性的定量方面

    本文针对机器学习中可解释性的问题进行了研究，提出了一组度量用于评估不同的可解释性方法，进而解决了目前仅仅依靠定性分析和用户研究来评估不同解释性方法的缺陷。在实验中，通过对不同的基准任务进行验证，并展示如何使用这些度量指导实践者选择最合适的方法，进一步阐述了基准任务、特征提取器和解释性方法之间的概念关系。

    Jul, 2020

  • 机器学习模型中的统一解释：一种扰动方法

    面向可解释人工智能（XAI）的高速范式转变已在近年来出现。高度复杂的机器学习（ML）模型在许多智能任务中蓬勃发展，而问题开始从传统的有效性度量转向更深层次的问题：该模型告诉我关于我的数据什么，它是如何得出这些结论的？XAI 和建模技术之间的不一致可能对这些解释性方法的效力产生质疑。为了解决这些问题，我们提出了一种针对流行的 XAI 的模型不可知方法 SHapley Additive exPlanations（Shap）进行系统的扰动分析。我们设计了一些算法，在动态推理的设置下生成相对特征重要性，这些设置针对一套流行的机器学习和深度学习方法，以及允许我们量化静态情况下生成解释的质量的度量指标。我们提出了特征重要性方法论的分类体系，度量了一致性，并观察了几个数据集中解释模型之间的可量化相似性。

    May, 2024

  • 自动基于概念的解释

    提出了概念解释的原则和求解算法 ACE，能够系统性地通过可视化概念提供对深度神经网络预测的重要性的人类可解释性解释。

    Feb, 2019

  • 评估解释的统一框架

    评估可解释性模型的统一框架是该论文的重点，它介绍了各个研究群体对解释性评估的重叠和语义错位，并提出了解释的可行性和可理解性的评估标准，以及基于可解释神经网络的学习行为预测的案例。

    May, 2024