Jul, 2023

同理解能机器学习技术能否检测虚假相关性？

PDF
TL;DR深度神经网络模型容易学习到数据中的错误相关性，本文提出了一种评估方法，评估了五种事后解释技术和一种固有可解释的方法在胸部 X 射线诊断任务中对三种人为添加的混淆因素进行正确识别的能力，并发现 SHAP 和 Attri-Net 技术表现最佳，可用于可靠地识别错误的模型行为。
deep neural network modelsspurious correlationsperformance metricspost-hoc explanationsinherently interpretable classifiers
发现论文，激发创造
  • 事後解釋對檢測未知假相關可能無效

    通过使用半合成数据集和预设的假象损伤，我们设计了一种经验方法，通过提供一组指标来评估解释方法在各种条件下检测虚假信号的可靠性。我们发现，当假象仅在测试时由解释方法的用户不知道时，后续解释方法测试是无效的，尤其是对于非可见的背景模糊等假象。同时我们也发现即使所解释的模型不依赖于虚假损伤，特征显著性方法也容易错误地指示对虚假信息的依赖。这一发现使得这些方法检测模型对虚假信号的依赖性的效用存在疑问。

    Dec, 2022

  • 评估隐式可解释性的后解释性

    本文对基于切片图像的乳腺癌转移检测问题，将时下最流行的用于深度神经网络（DNN）可解释性的后置解释方法（Post-hoc）和内置解释方法（Intrinsic）应用于一种新的可解释性 DNN，ProtoPNet，并比较了这两种方法的兴趣图像（Attribution maps）的相似性。结果显示，除 SmoothGrad 和 Occlusion 以外，其他后置方法兴趣图像的重合度很低。

    May, 2023

  • NLI 模型推理受哪些错误相关性影响？通过数据受限反事实推理的可视交互式诊断

    我们提出了一个面向诊断 NLI 模型依赖于预测的潜在虚假特征的人工辅助仪表板，该仪表板支持用户通过 GPT-3 建议来生成不同种类的具有挑战性的示例，并从经过训练的 NLI 模型中获取反馈。通过调查，我们发现了会影响 NLI 模型推理的几类虚假相关性。根据我们的发现，我们确定并描述了各种研究机会，包括通过创建对抗测试套件来增加训练数据的多样性和评估 NLI 模型的稳健性。

    Jun, 2023

  • 后因解释的危险性：不合理的反事实解释

    通过研究局部邻域，探究人工构建的反事实解释是否为实际数据知识，发现存在较高风险，多数最前沿方法不能区分有解释性的反事实实例和不合理实例。

    Jul, 2019

  • 神经网络自然语言处理的事后可解释性：一项综述

    本文主要讨论了近期后续方法如何向人类传达模型解释的分类，深入讨论了每种方法及其验证过程。

    Aug, 2021

  • 通过强韧视觉概念在真实和人工智能生成的图像分类中检测虚假相关性

    我们提出了一种高效侦测潜在假相关的通用方法，相对于现有技术需要更少人工干预，并且在消除像素级注释的同时提供直观的解释。此方法对 AI 生成的图像的特殊性表现出容忍度，而这是一个相当具有挑战性的任务，大多数现有方法在此方面存在不足。因此，我们的方法也适用于检测由生成模型产生的可能会传播到下游应用程序中的假相关。

    Nov, 2023

  • 事后反事实解释的问题：一次讨论

    本文探讨了后设反事实解释方法对数据和分类器的基本假设导致其在很多情况下的不可靠性，并提出了近似性、连通性和稳定性三种量化方法和途径。另外，本文还证明了后设反事实方法不满足这些属性的风险。

    Jun, 2019

  • 事后 XAI 方法中的可预测性与可理解性：用户中心分析

    评估 LIME 和 SHAP 两种常用工具的用户可理解性和可预测性，发现 SHAP 对于接近模型决策边界的样本提供的解释可理解性显著降低。此外，发现反事实解释和错误分类可以显著增加用户对机器学习模型决策的理解。根据研究结果，提出为未来的事后解释方法提供增加可理解性和可预测性的设计建议。

    Sep, 2023

  • LIME 和 SHAP 欺骗：对事后解释方法的对抗攻击

    本文提出一种新型的脚手架技术可以隐藏任何给定分类器的偏见，并演示了该技术如何可以欺骗常见的解释技术如 LIME 和 SHAP 生成无害的解释而不反映潜在的偏见。

    Nov, 2019

  • 提高图像分类的事后解释基准可靠性

    通过使用心理度量学中的 Krippendorf's alpha 来量化图像分类后置解释方法的可靠性，本研究提出了模型训练改进方法，包括使用扰动样本和采用焦点损失函数，以增强鲁棒性和校准性。经验证实，跨度度量、数据集和后置方法，该开创性工作在可靠性评估上取得了显著改进，为后置解释方法的更可靠评估实践奠定了基础，并强调了模型鲁棒性在评估过程中的重要性。

    Nov, 2023