Jun, 2024

客观解释评估指标可靠性研究：一项对抗分析

PDF
TL;DR本文提出了一种新的解释技术，称为 SHifted Adversaries using Pixel Elimination (SHAPE)，并证明了它是一种对常用重要性基于视觉 XAI 方法进行鲁棒性和可靠性度量的对抗性解释，相比于 GradCAM 和 GradCAM ++ 等流行解释技术，在这些测试中，SHAPE 表现更好，并引发了与这些度量标准以及人的参与评估的整体改进的问题。
explainable aixaineural network modelsexplanatory techniquecausal metrics
发现论文，激发创造
  • 解析 AI 归因方法的精确基准测试

    我们提出了一种新的评估方法，用于基准测试最先进的可解释 AI 归因方法，该方法由合成的分类模型及其衍生的地面实况解释组成，该方法提供了关于 XAI 方法输出的更深入的洞察。

    Aug, 2023

  • 定量评估显著性方法：实验研究

    本文基于对解释人工智能（XAI）的准确定义和公正衡量标准缺失的讨论，提出了一种广泛的实验研究，重点关注解释方法的忠实度、本地化、假阳性、敏感度检查和稳定性。实验结果表明，在当前所有方法中，梯度加权类激活映射（Grad-CAM）和随机输入抽样解释（RISE）在大多数指标上表现良好。另外，本文还提出了一种筛选指标的方法，以诊断模型分类基础，并探讨了当前指标所忽略的测量因素。

    Dec, 2020

  • 可解释性方法评估的实验研究

    本文比较了 14 个不同的评估指标在 9 种最先进的 XAI 方法和 3 种用作参考的虚拟方法（如随机显著性图）上的应用结果，结果表明其中一些指标会产生高度相关的结果，还展示了基准超参数变化对评估指标值的显著影响，最后使用虚拟方法评估指标的可靠性及其排名方面的限制。

    May, 2023

  • 机器学习模型中的统一解释：一种扰动方法

    面向可解释人工智能（XAI）的高速范式转变已在近年来出现。高度复杂的机器学习（ML）模型在许多智能任务中蓬勃发展，而问题开始从传统的有效性度量转向更深层次的问题：该模型告诉我关于我的数据什么，它是如何得出这些结论的？XAI 和建模技术之间的不一致可能对这些解释性方法的效力产生质疑。为了解决这些问题，我们提出了一种针对流行的 XAI 的模型不可知方法 SHapley Additive exPlanations（Shap）进行系统的扰动分析。我们设计了一些算法，在动态推理的设置下生成相对特征重要性，这些设置针对一套流行的机器学习和深度学习方法，以及允许我们量化静态情况下生成解释的质量的度量指标。我们提出了特征重要性方法论的分类体系，度量了一致性，并观察了几个数据集中解释模型之间的可量化相似性。

    May, 2024

  • 利用可解释的人工智能来提高神经网络的性能

    本研究提出了一种重新训练流程，使用 SHapley Additive explanations 值，从 XAI 入手并利用最先进的技术来增加模型的透明度和可信度，在人数统计场景和图像分类数据集上进行了实验验证，结果表明使用 SHAP-based 重新训练方法比使用相等加权训练方法更有效，分别提高了 4% 和 3% 的准确率。

    Oct, 2022

  • 可解释人工智能中的对抗攻击和防御：一项调查

    该论文对 50 多篇与机器学习模型解释袭击和公正性度量有关的研究进行了简要综述，并讨论了如何防御攻击和设计稳健的解释方法。该论文提出了现有 XAI（可解释人工智能）不安全因素的列表，并概述了 Adversarial XAI（AdvXAI）的新兴研究方向。

    Jun, 2023

  • 关于时间序列 XAI 方法的严格评估

    本文介绍了将之前主要用于图像和文本领域的可解释人工智能（XAI）方法应用于时间序列上的新方法。作者提出了一种方法来测试和评估各种对于时间序列的 XAI 方法，并介绍了新的验证技术用以融入时间维度。作者进一步进行了初步实验来评估所选 XAI 方法的解释质量，并证明了在初步实验中，SHAP 方法的工作表现很强，但是像 DeepLIFT，LRP 和 Saliency Maps 等方法却更适用于特定的架构。

    Sep, 2019

  • 视觉解释的可解释人工智能基准

    深度学习算法的崛起在计算机视觉任务中取得了重大进展，但它们的 “黑匣子” 性质引发了对可解释性的关注。可解释人工智能（XAI）作为一个重要的研究领域出现，旨在打开这个 “黑匣子”，并揭示人工智能模型的决策过程。视觉解释作为可解释人工智能的一个子集，通过突出显示输入图像中的重要区域，为处理视觉数据的人工智能模型的决策过程提供直观的见解。我们提出了一个 XAI 基准，其中包括来自不同主题的数据集集合，为图像提供了类别标签和相应的解释注释。我们引入了一个全面的视觉解释流程，在这个流程中整合了数据加载、预处理、实验设置和模型评估过程。此结构使研究人员能够公平比较各种视觉解释技术。此外，我们对视觉解释的超过 10 种评估方法进行综合评述，以帮助研究人员有效利用我们的数据集合。为了进一步评估现有的视觉解释方法的性能，我们使用各种以模型为中心和以真实标注为中心的评估指标在选定的数据集上进行实验。我们希望这个基准可以推动视觉解释模型的进步。这个 XAI 数据集合和用于评估的易于使用的代码公开可访问。

    Oct, 2023

  • 基于 CLEVR-XAI 的神经网络解释的地面真实性评估

    本文提出了一种基于 CLEVR 视觉问题回答任务的基准评估框架，在十种不同的 XAI 方法上进行比较和评估，结果得到了新的关于 XAI 方法质量和属性的深入认识。

    Mar, 2020

  • 从个人经验到量化评估方法：评估可解释 AI 的系统综述

    文章讨论了机器学习模型解释性和可解释性的多方面问题，并提出了 12 个概念性属性，如紧凑性和正确性来全面评估解释的质量。文章还提供了定量 XAI 评估方法的广泛概述，以及提供了创新的库和方法帮助研究人员和从业者彻底验证、基准测试和比较新的和现有的 XAI 方法。

    Jan, 2022