Mar, 2024

基于梯度的黑盒显著图生成的前向学习

PDF
TL;DR我们引入了一种新的统一框架，用于在黑盒模型中估计梯度并生成显著性地图以解释模型决策。我们采用似然比方法来估计输出到输入的梯度，并利用它们来生成显著性地图。此外，我们提出了块计算技术来提高估计精度。在黑盒模型中进行的大量实验证实了我们方法的有效性，表明准确估计梯度并生成的显著性地图能够解释模型的决策。此外，我们将该方法应用于解释 GPT-Vision，展示了在大规模、闭源和黑盒模型时梯度解释方法的可伸缩性。
gradient-based saliency mapsdeep neural networkblack-box modelslikelihood ratio methodexplanation methods
发现论文，激发创造
  • 基于显著性引导训练的深度学习解释性改进

    本文介绍了一种基于显著性引导培训的神经网络方法，可以有效降低噪声导致的特征归因不准确，并通过实验表明这种方法能够在保持预测性能的同时提高模型可解释性。

    Nov, 2021

  • 重访反向传播显著性方法

    本文通过分析反向传播型显著性方法，提出了一个框架，将多种方法统一起来，进而提出了一个新的基于空间梯度特征的显著性方法 - NormGrad，并通过将不同层的显著图进行结合，测试不同层级网络提取信息的能力，并且引入了一个类别敏感指标和元学习方法以提高对输出类的敏感度。

    Apr, 2020

  • 高效明晰人工智能的显著性地图

    本研究提出了一种针对深度卷积神经网络的可解释性 AI 显著性图方法，其比流行的高分辨率梯度方法更为高效，并且在精度上也与其相当或更好。通过使用 Layer Ordered Visualization of Information，展示了该方法比其他显著性图方法提供更有趣的网络规模内比例贡献比较。此外，该方法在资源有限的平台上如机器人、手机、低成本工业设备、天文和卫星图像等方面是可行的。

    Nov, 2019

  • 可解释梯度的学习范式

    本论文研究了卷积网络的可解释性，通过利用显著性图进行分析。我们提出了一种新的训练方法，通过引入正则化损失，使标准反向传播得到的输入图像相对于引导反向传播得到的梯度类似。我们发现，由此得到的梯度在质量上更加清晰，量化上改善了不同网络的可解释性特性，使用了多种可解释性方法。

    Apr, 2024

  • 基于概率分布预测的端到端显著性映射

    本研究提出一种基于 Bernoulli 分布的显著性图模型，并使用包括 softmax 在内的新损失函数，通过大规模数据和深度结构进行显著性估计，表现优于现有的显著性方法。

    Apr, 2018

  • 基于特征引导梯度反向传播的可解释人脸验证

    该研究探索人脸图像与其深度表示之间的空间关系，并提出了一种新的解释方法 FGGB，通过梯度反向传播生成准确且深入的相似性和差异性显著性地图，用以解释人脸识别系统的 “接受” 和 “拒绝” 决策。视觉展示和定量测量表明，FGGB 在相似性和差异性显著性地图方面的性能优于当前最先进的可解释人脸验证方法。

    Mar, 2024

  • 黑盒环境下类梯度解释：当黑盒解释变得如白盒一样好

    本文介绍了一种以黑盒为基础的梯度估计解释方法，称为 GEEX，通过分析梯度来揭示数据驱动方法（如深度学习模型）中做出决策的最重要特征，并将其与路径方法相结合，得到了用于图像数据的 iGEEX 方法，证明了该方法在黑盒场景中优于现有方法，并有着与完全访问的方法相媲美的性能。

    Aug, 2023

  • iGOS++: 双边干扰优化一体化梯度显著性

    本研究提出了一种名为 iGOS++ 的框架，用于生成最优化的显著性图，该框架可以在输入的小部分上保留或删除优化的显著性图，从而实现对黑盒系统输出更好的控制。在 COVID-19 x 光图像分类任务中的应用结果表明，该方法可以显着提高分类器的精度和召回率。

    Dec, 2020

  • 基于梯度的可解释性方法与二值化神经网络

    本文比较了应用在二值化神经网络与全精度神经网络的几种常用显著图解释技术（梯度、平滑梯度和 GradCAM）表现的差异，结果发现 SmoothGrad 方法在 BNNs 时产生明显的噪音地图，而 GradCAM 则在网络类型上产生显著的不同，有些 BNNs 的解释看起来毫无意义。我们探讨了这些差异的可能原因，并将其作为需在更广泛的网络类型上测试解释性技术的示例。

    Jun, 2021

  • 基于标题引导的自上而下视觉显著性

    本文提出了基于标题引导的视觉显著性方法，通过训练数据隐式的学习到现代编码器解码器网络中的区域到单词的映射，而不引入显式的注意力层，从而分析各种现有模型结构，并提供更准确的显著性热图。

    Dec, 2016