Nov, 2023

提高图像分类的事后解释基准可靠性

PDF
TL;DR通过使用心理度量学中的 Krippendorf's alpha 来量化图像分类后置解释方法的可靠性，本研究提出了模型训练改进方法，包括使用扰动样本和采用焦点损失函数，以增强鲁棒性和校准性。经验证实，跨度度量、数据集和后置方法，该开创性工作在可靠性评估上取得了显著改进，为后置解释方法的更可靠评估实践奠定了基础，并强调了模型鲁棒性在评估过程中的重要性。
deep neural networksexplanation methodssaliency mapsbenchmark reliabilitymodel robustness
发现论文，激发创造
  • 图像解释的分类评估指标：构建可靠的可解释性人工智能评估

    计算机视觉模型的决策过程（尤其是深度神经网络）的不透明性意味着这些决策无法被人类理解。因此，在过去几年中，已经提出了许多提供人理解解释的方法。本文针对图像分类开发了新的评估指标，并对常见的显著性方法在 ImageNet 上进行了基准测试。此外，还提出了一种基于心理测评概念的可靠性评估方案。

    Jun, 2024

  • 可解释的网络可视化：基于人机协同的 CNN 图像分类后续解释方法

    通过引入一种后置方法，我们解释了卷积神经网络的整个特征提取过程，并包含了一组通过众包活动和自然语言处理技术提取并处理的文本标签，在多幅图像中聚合标签以生成全局解释。

    May, 2024

  • 模型调试解释效用基准测试

    本文提出需要为后续说明方法建立基准来评估其在完成任务中的效用，并列举了为解决调试文本分类器任务的基准所应具备的理想属性，并强调这种基准不仅有助于评估解释的有效性，还有助于评估其效率。

    May, 2021

  • 评估隐式可解释性的后解释性

    本文对基于切片图像的乳腺癌转移检测问题，将时下最流行的用于深度神经网络（DNN）可解释性的后置解释方法（Post-hoc）和内置解释方法（Intrinsic）应用于一种新的可解释性 DNN，ProtoPNet，并比较了这两种方法的兴趣图像（Attribution maps）的相似性。结果显示，除 SmoothGrad 和 Occlusion 以外，其他后置方法兴趣图像的重合度很低。

    May, 2023

  • 关于视觉解释的定量评估的一致性

    研究神经网络的预测可视化解释，并评价这些解释的好坏。其中，绝大多数评价方法使用 ImageNet-1k 和人工检测评估结果，结果表明评价方法之间缺乏一致性。同时，解释的稀疏性对评价方法的表现具有显著影响。

    Feb, 2023

  • 通过有意义的扰动提供黑匣子的可解释性解释

    该研究提出了一种适用于任何黑盒机器学习算法的通用解释框架，并将其特化以找到对分类器决策最负责的图像部分。该方法是模型无关且可测试的，因为它基于明确且可解释的图像扰动。

    Apr, 2017

  • 常见数据增强对视觉解释的鲁棒性

    本文研究了后续可解释性方法对自然发生的转换形式（即增强）的响应，发现不同的可解释性方法在稳定性上存在显著差异，并提供证据表明，不论数据增强是否用于训练中，在增强方面的解释通常不如分类性能稳健。

    Apr, 2023

  • 定量评估显著性方法：实验研究

    本文基于对解释人工智能（XAI）的准确定义和公正衡量标准缺失的讨论，提出了一种广泛的实验研究，重点关注解释方法的忠实度、本地化、假阳性、敏感度检查和稳定性。实验结果表明，在当前所有方法中，梯度加权类激活映射（Grad-CAM）和随机输入抽样解释（RISE）在大多数指标上表现良好。另外，本文还提出了一种筛选指标的方法，以诊断模型分类基础，并探讨了当前指标所忽略的测量因素。

    Dec, 2020

  • 可靠的事后解释：解释性中的不确定性建模

    本文提出了基于贝叶斯框架的黑盒模型解释方法，能够生成可靠的局部解释和其关联的不确定性，并且具有稳定性和高度一致性，可以快速地解决几个重要问题。通过实证研究，证明了该方法的有效性，并提高了解释的可靠性。

    Aug, 2020

  • 强健稳定的黑盒解释

    通过敌对训练的方法，我们提出了一个生成稳健且高保真黑盒模型解释的新框架，尝试解决现有算法在受到分布偏移时缺乏稳定性和鲁棒性的问题，本文是首次尝试生成对一类有实际意义的敌对扰动具有鲁棒性的后续解释，实验发现我们的方法显著提高了解释的鲁棒性，而不会在原始数据分布上牺牲解释的保真度。

    Nov, 2020