Nov, 2023

评估地面事实解释时要小心

PDF
TL;DR评估图像分类器关于人类感知定义的地面真实标记（例如分割掩模）的解释，主要评估的是考虑中的模型的质量而不是解释方法自身。在这种观察的驱动下，我们提出了一个框架，用于联合评估将深度神经网络与解释方法相结合的安全关键系统的鲁棒性。这些系统在医学图像分析或机器人技术等实际应用中越来越广泛使用。我们引入了一种微调过程，将模型 - 解释的流程与地面真相错位，用它来量化人类对齐的最坏和最好情况之间的潜在差异。在各种模型架构和事后局部解释方法的实验中，我们对视觉变换器的鲁棒性和此类 AI 系统对潜在对抗攻击的整体脆弱性提供了洞见。
explanationsimage classifiersrobustnesssafety-critical systemsadversarial attacks
发现论文，激发创造
  • 基于人工标注的文本分类解释方法评估

    本文探讨了一些适用于 CNN 文本分类的模型无关和模型特定解释方法，并进行了三次人类评估来揭示这些方法揭示模型行为、证明模型预测和帮助人类调查不确定预测的不同效果。结果表明，这些方法具有不同的性质，并且可以为每个目的提供帮助。

    Aug, 2019

  • 不确定基础真相下的 AI 系统评估：皮肤病学案例研究

    文章提出了一种新的框架，通过对可能性进行后验推理的方式来聚合多个标注者的标注结果，并提供了适用于不确定性的结果评估指标，使得评估模型更准确地反映了真实的预测能力。

    Jul, 2023

  • 机器学习本地解释的人类基准评估

    本文提出了一个针对图像和文本领域使用的人类注意力基准，使用多层人类注意力蒙版的评估方法评估了使用 Grad-cam 和 LIME 技术获得的模型显著性解释，并通过比较单层对象分割掩码评估的主观评分和基准阈值不可知的评估方法的效果，表明我们的基准更加有效。同时，本文的实验还揭示了主观评分中的用户偏见。

    Jan, 2018

  • 一个稳健的指导视觉解释的框架

    提出了使用 RES 框架进行监督解释的方法以提高深度神经网络的外推泛化性和内在的可解释性，该框架可解决标注不准确、区域不完整和分布不一致等挑战，经测试在两种实际图像数据集上均表现较好。

    Jun, 2022

  • 重新思考用户研究设计以评估模型解释

    该研究通过一个众包实验，探讨解释机器学习模型的预测对人类是否具有帮助，并发现在给定特征系数的情况下，人们能够更有效地对线性词袋模型进行操纵，但解释对 BERT 型分类器并没有显著提高操纵能力，而通过伪造 BERT 模型的线性模型的对全局归属的解释则可以有效地操作 BERT 型模型。

    Dec, 2021

  • 无需真实标注：统一解释方法评估

    本文提出了一组用于评估神经网络解释方法客观性的标准，设计了四个度量标准来评估解释结果（即没有真实解释数据情况下），并对九种基准解释方法进行了广泛应用，从而提供了解释方法的新见解。

    Nov, 2019

  • 评估模型解释在模型开发中的效用

    通过用户研究，本研究评估了可解释人工智能在实际场景中对人类决策的改进效果，结果发现虽然解释有助于用户更准确地描述模型，但对于模型选择和反事实模拟这两个任务，并没有找到使用任何显著改进的证据，这表明对基于显著性的解释的实用性和可能的误解需要谨慎对待。

    Dec, 2023

  • 深度神经网络的鲁棒解释

    本研究提出了一种理论框架和三种不同技术来提高对解释的稳健性。通过训练方法，激活函数的平滑以及网络 Hessian 的最小化，实现了对提高模型的抗干扰能力。实验结果证实了这些方法的有效性。

    Dec, 2020

  • 可解释方法中的婴儿大脑注意力方式

    该文提出了一种名为 “可解释的几何深度网络” 的端到端学习方法，用于在高维数据中实现精细的可解释性，例如神经成像和神经科学研究。该方法采用学习解释性因素来增强鉴别性表示提取，以实现可解释的预测和分类结果。

    Jan, 2023

  • 评估用于深度学习在安全领域的解释方法

    本文建立了计算机安全领域中解释方法的标准，并研究了六种广泛应用的解释方法在恶意软件检测和漏洞发现中的效用，并得出了选择和应用计算机安全领域解释方法的一般建议。

    Jun, 2019