黑盒模型图像分类中非理想像素的解释

ICCVSep, 2019

黑盒模型图像分类中非理想像素的解释

Interpreting Undesirable Pixels for Image Classification on Black-Box Models

Sin-Han Kang, Hong-Gyu Jung, Seong-Whan Lee

TL;DR本文提出了一种基于热力图的解释方法，通过可视化影响图像被分类为目标类的不良区域（包括妨碍黑箱模型识别目标类内在特征的因素和作为其他类别重要区域的因素），并采用评价指标对 ImageNet 数据集进行了定量验证。

Abstract

In an effort to interpret black-box models, researches for developing explanation methods have proceeded in recent years. Most studies have tried to identify input pixels that are crucial to the prediction of a c

black-box models explanation methods undesirable regions classification imagenet

发现论文，激发创造

通过有意义的扰动提供黑匣子的可解释性解释

该研究提出了一种适用于任何黑盒机器学习算法的通用解释框架，并将其特化以找到对分类器决策最负责的图像部分。该方法是模型无关且可测试的，因为它基于明确且可解释的图像扰动。

Apr, 2017

你看到的就是你分类的：黑盒归因

在黑盒神经网络的基础上，通过训练第二个网络来预测对预备的黑盒分类器的贡献，并将这些贡献以只显示与分类器相关部分的蒙版的形式提供，我们的方法可以直接在单个前向传递中生成非常明显的类特定蒙版。

May, 2022

评估深度神经网络学习的可视化

本文提出了一种可视化深度神经网络分类决策的方法，使用基于区域扰动的方法评估热图，并比较了三种不同方法计算的热图对网络分类决策的解释力，结果发现基于层级相关传播方法对解释分类决策的效果更好。同时，本文还探讨了利用热图进行神经网络性能无监督评估的方法。

Sep, 2015

黑盒分类器的信息论视觉解释

该研究从信息熵角度试图解释任意黑匣子分类器的预测结果，比现有方法提高了量化评价的正确性，通过提供两个信息熵评估指标（信息增益图和逐点互信息图）来分别提供类别无关和类别特定的结果。作者还对 ImageNet 分类器进行了详细分析，并提供了在线代码。

Sep, 2020

神经网络解释易受伤

本文探究了解释深度学习预测的方法对于随机扰动的敏感性，发现即使对于具有同一预测标签的两个感官不可分的输入，这些方法也会得出非常不同的解释结果，并分析了导致这种脆弱性的几何原因。

Oct, 2017

在潜在特征空间中通过学习图像示例实现黑匣子解释

通过在黑盒模型中采用对抗性自动编码器学习到的潜在特征空间，生成实例图像并学习决策树分类器的方法，从而对黑盒模型进行解释，并提供了更好的解释性能。

Jan, 2020

渐进式夸张解释

本文提出了一种基于类的语义扩张的方法，该方法可以解释分类黑盒模型的结果，是模型无关的，并且只需要输出值和预测器相对于其输入的梯度。

Nov, 2019

使用解释方法解决基于深度学习的组织病理学图像分析中的挑战

本文介绍了解释方法在数字病理学中的应用，以生成热图来解决深度学习方法在数字组织病理学分析中遇到的常见问题，包括对组织病理学数据固有的偏见。通过像素级热图的方法，我们能够精确诊断并帮助发现和消除数据中的偏见，证明解释方法是数字病理学应用开发和部署阶段中的有益工具。

Aug, 2019

分类模型中预测不确定性的归因

本文提出一种新的框架，将路径积分、反事实解释和生成模型相结合，以获得包含少量可观察到的人工构件或噪声的归因，并通过对各种复杂度的数据集的流行基准测试进行定量评估，证明这一方法优于现有的替代方法。

Jul, 2021

针对深度学习图像分类器的感知质量保持黑盒攻击

该研究论文介绍了如何在低失真路径上发起黑盒攻击，以提高攻击效率和敌对图像的感知质量，并在真实世界系统上进行了实验，验证了该方法在基准分类任务和生物识别及取证等关键应用中的有效性。

Feb, 2019