利用输入梯度解释预测模型

NIPSNov, 2016

Interpretation of Prediction Models Using the Input Gradient

Yotam Hechtlinger

TL;DR本篇论文提出了一种简单的方法解释机器学习算法中的黑箱预测模型，该方法通过研究模型对输入的偏导数来获取需要的信息，并将其应用于自然语言处理中的卷积和多层神经网络的解释。

Abstract

State of the art machine learning algorithms are highly optimized to provide the optimal prediction possible, naturally resulting in complex models. While these models often outperform simpler more interpretable models by order of magnitudes, in terms of understanding the way the model

machine learning predictive model interpretation partial derivatives neural networks

发现论文，激发创造

神经网络解释易受伤

本文探究了解释深度学习预测的方法对于随机扰动的敏感性，发现即使对于具有同一预测标签的两个感官不可分的输入，这些方法也会得出非常不同的解释结果，并分析了导致这种脆弱性的几何原因。

Oct, 2017

通过逐层相关性传递解释复杂机器学习模型的预测

本文介绍一种基于输入变量对深度神经网络分类决策进行分解的技术，以提高其透明度和可解释性。

Nov, 2016

解释模型预测方法所汇聚的出乎意料的一致性

本文提出了一种模型不可知的加性表示方法，用于解释复杂模型的预测结果，在视觉上提供了新颖的解释，该方法通过估算输入特征的重要性，将当前解释预测的方法统一。

Nov, 2016

运用视觉分析解释预测机器学习模型

通过视觉分析技术，我们可以在不牺牲预测质量的情况下理解黑盒机器学习模型的推理过程，从而提高模型的可解释性。

Jun, 2016

模型提取实现可解释性

这篇论文提出一种名为模型抽取的方法，通过构建一个可解释程度更高的模型来近似黑箱模型，从而理解和调试机器学习模型在各种数据集上训练的结果，并在经典强化学习问题中学习控制策略。

Jun, 2017

神经模型的病态使解释困难

通过 input reduction 方法研究了神经网络模型的缺陷，发现在面对异常数据时大多数模型都表现出困难并难以解释，提出了一种 fine-tuning 方法，通过提高模型的输出熵，增强模型的可解释性。

Apr, 2018

重新思考基于梯度的属性方法在模型可解释性中的作用

该研究分析了模型 input-gradients 在解释性方面的问题，提出了将标准 softmax-based 分类器的 logits 重新解释为未归一化的数据密度，证明了 input-gradients 可以被视为隐含于判别模型中的类条件密度模型的梯度，并提出了通过 score-matching 来实现对隐含密度模型与数据分布的对齐的算法。研究表明，对齐隐含密度模型和数据分布可以提高梯度的结构性和解释性。

Jun, 2020

学习黑盒外：可解释模型的追求

该论文提出了一种使用 Meijer G 函数的黑盒函数连续全局解释算法来解决机器学习模型可解释性问题，通过实验结果证明该算法可以高度准确地表示特征和特征交互的相对重要性。

Nov, 2020

可解释的人工智能：理解、可视化和解释深度学习模型

基于深度学习的解释性可视化方法在人工智能领域日益被重视，本文总结了目前解释深度学习模型的最新发展，并提出两种解释预测的方法，并将这些方法用于三个分类任务中进行评估。

Aug, 2017

机器学习的模型无关可解释性

机器学习中的可解释性问题已经成为一个重要的关注点，本文提出使用模型无关的方法解释机器学习预测，这种方法可以提供选择模型、解释和表示的灵活性，同时改善了调试、比较和用户接口等问题，同时回顾了最近引入的模型无关的解释方法 LIME 及其面临的主要挑战。

Jun, 2016