Aug, 2023

黑盒环境下类梯度解释：当黑盒解释变得如白盒一样好

PDF
TL;DR本文介绍了一种以黑盒为基础的梯度估计解释方法，称为 GEEX，通过分析梯度来揭示数据驱动方法（如深度学习模型）中做出决策的最重要特征，并将其与路径方法相结合，得到了用于图像数据的 iGEEX 方法，证明了该方法在黑盒场景中优于现有方法，并有着与完全访问的方法相媲美的性能。
attribution methodsexplainabilitydeep learning modelsgradient-estimation-based explanationblack-box methods
发现论文，激发创造
  • 可解释 AI 中基于梯度的特征归因：技术综述

    对基于梯度的解释方法进行了系统的探索和分类，并介绍了技术细节的实质和算法的演化，同时提出了使用人工和定量评估来衡量算法性能的挑战，为研究人员提供了对最新进展和相关缺点的了解，并激发了未来解决这些问题的兴趣。

    Mar, 2024

  • T-Explainer: 基於梯度的模型无关解释性框架

    可解释人工智能（Explainable Artificial Intelligence）通过提供准确、一致且稳定的解释，解决机器学习中黑盒模型的透明度问题，其中基于泰勒展开的 T-Explainer 成为了一种有效的特征归因方法。

    Apr, 2024

  • 深度神经网络的基于梯度的解释方法 —— 鲁棒性解释指南

    本文介绍了解释深度神经网络的渐变解释性方法，讨论了这些方法如何评估其鲁棒性以及鲁棒性在产生有意义的解释方面的作用，并探讨了渐变方法的局限性和选择解释方法之前应该考虑的最佳实践和属性。

    Jul, 2021

  • MRxaI: 医疗环境下图像分类器的黑盒可解释性

    现有的解释工具可以分为白盒和黑盒两种，医学领域的图像解释工具主要集中在白盒方法，本文对比了多种黑盒方法与 grdcam 在脑癌 MRI 数据集上的表现，发现大多数黑盒方法不适用于解释医学图像分类，而一种基于因果关系的黑盒方法能与 gradcam 同等效果。

    Nov, 2023

  • 你看到的就是你分类的：黑盒归因

    在黑盒神经网络的基础上，通过训练第二个网络来预测对预备的黑盒分类器的贡献，并将这些贡献以只显示与分类器相关部分的蒙版的形式提供，我们的方法可以直接在单个前向传递中生成非常明显的类特定蒙版。

    May, 2022

  • 集成梯度归因方法的四个公理特征

    本研究介绍了一种称为 Integrated Gradients 方法的基线归因方法和其四个公理特征，用以揭示神经网络及其他机器学习模型的内部工作机制。

    Jun, 2023

  • 神经网络特征评估中的不一致问题探究

    近年来，神经网络展示出了从原始数据中识别复杂模式和关系的卓越能力。然而，理解这些黑盒模型的内部机制仍具挑战性，但对于高风险决策至关重要。我们的研究通过调查解释的基本和分布行为来解决这种困惑。此外，通过全面的模拟研究，我们展示了常见缩放和编码技术对解释质量的影响，评估它们在不同效应大小中的功效，并展示了基于排序的评估指标的不一致性的来源。

    Apr, 2024

  • 几何引导式的整合梯度

    本文提出了一种基于深度神经网络模型参数空间局部几何性质的解释性方法 —— 几何引导的积分梯度法，在主观和量化评价方面表现优于传统的积分梯度法和总体梯度法，并提出了 “模型扰动” 的健全性检查，以补充传统的 “模型随机化” 测试。

    Jun, 2022

  • 高斯过程的可解释学习

    解释性人工智能的研究领域试图开发提供复杂机器学习方法如何进行预测的见解的方法。在这项工作中，我们探讨了高斯过程回归（GPR）背景下的特征归因问题，并在现有文献的基础上以原则性的方法定义了特征归因。我们展示了尽管 GPR 是一种高度灵活的非参数方法，但我们可以导出解释性的闭式表达式用于特征归因。使用 Integrated Gradients 作为归因方法时，我们表明 GPR 模型的归因也符合高斯过程分布，从而量化了由于模型的不确定性而产生的归因的不确定性。我们通过理论和实验证明了这种方法的多功能性和稳健性。我们还表明，在适用的情况下，GPR 归因的精确表达式比目前在实践中使用的近似方法更准确且计算成本更低。

    Mar, 2024

  • 具有差分隐私的模型解释

    使用差分隐私机制构建基于特征的模型解释，降低解释数据隐私泄露，评估差分隐私模型及其隐私机制对模型解释质量的影响。

    Jun, 2020