Jan, 2024

基于流形的 SAR 识别网络解释的 Shapley 值

PDF
TL;DR在合成孔径雷达（SAR）等风险高、成本高的场景中，可解释的人工智能（XAI）对于提高深度神经网络的透明度和可信度至关重要。Shapley 是一种具有强大数学基础的基于博弈的解释技术。然而，Shapley 假设模型的特征是独立的，这使得高维模型的 Shapley 解释无效。本研究通过将高维特征投影到低维流形特征，并随后获得 Fusion-Shap，引入了一种基于流形的 Shapley 方法，旨在（1）解决传统 Shap 遇到的错误解释问题；（2）解决传统 Shap 在复杂场景中面临的可解释性挑战。
explainable artificial intelligencexaishapleymanifold-based shapley methodfusion-shap
发现论文，激发创造
  • 数据流形上的 Shapley 可解释性

    本研究旨在介绍 Shapley 可解释性的一个数学根据和模型独立的框架，但是通常的 Shapley 可解释性实现做了一个不切实际的假设，即模型的特征是不相关的，而作者这里提出了两种策略去解决这个问题，基于生成建模的方法提供灵活的数据归因，另一种直接学习了 Shapley 价值函数，提供了性能和稳定性，但缺陷是没有灵活性，通过我们的研究表明该假设会导致展示效果错误，隐藏敏感性属性的隐含模型依赖性和意义不明的高维数据。

    Jun, 2020

  • 利用可解释的人工智能来提高神经网络的性能

    本研究提出了一种重新训练流程，使用 SHapley Additive explanations 值，从 XAI 入手并利用最先进的技术来增加模型的透明度和可信度，在人数统计场景和图像分类数据集上进行了实验验证，结果表明使用 SHAP-based 重新训练方法比使用相等加权训练方法更有效，分别提高了 4% 和 3% 的准确率。

    Oct, 2022

  • 可解释性并非游戏

    这篇论文提出了一个简单的论点：Shapley 值可能会给出误导性的相对特征重要性量度，从而不仅会将更多的重要性分配给与预测无关的特征，而且会给与与预测相关的特征更少的重要性，这对于高风险应用领域中相对特征重要性的许多提议使用产生了挑战。

    Jun, 2023

  • Shapley 值在可解释性方面的不足

    本论文发现使用 Shapley 值进行可解释 AI (XAI) 会导致关于特征重要性的推断存在严重偏差，并指出在某些分类器的情况下，计算严格特征归因值的有效算法的存在性应被视为不太可能。

    Feb, 2023

  • 机器学习模型中的统一解释：一种扰动方法

    面向可解释人工智能（XAI）的高速范式转变已在近年来出现。高度复杂的机器学习（ML）模型在许多智能任务中蓬勃发展，而问题开始从传统的有效性度量转向更深层次的问题：该模型告诉我关于我的数据什么，它是如何得出这些结论的？XAI 和建模技术之间的不一致可能对这些解释性方法的效力产生质疑。为了解决这些问题，我们提出了一种针对流行的 XAI 的模型不可知方法 SHapley Additive exPlanations（Shap）进行系统的扰动分析。我们设计了一些算法，在动态推理的设置下生成相对特征重要性，这些设置针对一套流行的机器学习和深度学习方法，以及允许我们量化静态情况下生成解释的质量的度量指标。我们提出了特征重要性方法论的分类体系，度量了一致性，并观察了几个数据集中解释模型之间的可量化相似性。

    May, 2024

  • ShapG：基于 Shapley 值的新特征重要性方法

    通过提出一种名为 ShapG 的新的可解释人工智能 (XAI) 方法，该方法基于 Shapley 值来衡量特征的重要性，本文探讨了人工智能系统的解释和透明度的重要性，并通过与其他 XAI 方法的比较和广泛的实验证明 ShapG 的高效性和可应用性。

    Jun, 2024

  • 可解释、具有物理感知、值得信赖的合成孔径雷达人工智能范式转变

    本文提出了一种基于可解释数据转换的新范式，以生成 AI 方法的输入，提供知识反馈，从而从数据中学习或改进高复杂度未知或未形式化的模型，此方法被成功应用与合成孔径雷达数据的混合建模和图像理解。

    Jan, 2023

  • 穿过内、外流形价值函数针眼的 Shapley 解释

    本文旨在为 XAI 背景下的特征重要性贡献价值函数，并引入一种新的基线价值函数 —— 联合基线价值函数，在低密度区域具有稳健性，该价值函数在协同游戏上表现良好。

    Feb, 2022

  • 基线 Shapley 解释性探测器

    提出基于基线 Shapley 值的可解释性检测器（BSED）来增强可解释性解释的有效性，并展示了与现有方法的定量和定性比较，以及通过解释进行检测纠正的应用。

    Aug, 2023

  • Shapley 解释网络

    本文提出使用 Shapley values 作为深度模型的潜在表示，使得 Shapley explanations 能够成为建模范式的第一等公民，从而实现了层次化解释、模型在训练期间的解释以及快速解释计算。作者证明了 ShapNets 确保 Shapley 值的缺失和准确性，并通过在合成和真实数据集上的演示展示了它的有效性。

    Apr, 2021