学习解释：模型解释的信息论视角

ICMLFeb, 2018

学习解释：模型解释的信息论视角

Learning to Explain: An Information-Theoretic Perspective on Model Interpretation

Jianbo Chen, Le Song, Martin J. Wainwright, Michael I. Jordan

TL;DR我们引入了实例级别特征选择作为模型解释的一种方法，基于学习一个函数来提取最具信息价值的特征集合，利用变分逼近互信息，最大化选择特征和响应变量之间的互信息，我们在各种合成和真实数据集上展示了方法的有效性，并使用定量度量和人类评估进行了验证。

Abstract

We introduce instancewise feature selection as a methodology for model interpretation. Our method is based on learning a function to extract a subset of features that are most informative for each given example. This feature selector is trained to maximize the →

instancewise feature selection model interpretation mutual information response variable variational approximation

发现论文，激发创造

特征选择的变分信息最大化

用变分分布构建了一种信息理论框架，生成互信息的下界，是一种优化特征选择的方法，实验表明该方法在信息理论特征选择中表现出色。

Jun, 2016

基于实例的因果特征选择用于模型解释

本文提出一个解释黑盒视觉分类器的因果推断扩展，即在实例特征选取的基础上选择对模型输出具有最大因果效应的特征子集，并使用相对熵距离量化这些特征子集的因果影响，该方法运用于多个视觉数据集中并证明了其高效性。

Apr, 2021

多类模型解释的加法逐实例方法

本论文提出了一种使用解释模型同时针对多个目标类别进行本地解释的框架，该模型具有更高的解释性和更紧凑的解释，通过广泛的实验验证了该模型具有选择稳定和重要特征的能力。

Jul, 2022

动态特征选择的条件互信息估计

本文介绍了一种基于信息论的动态特征选择方法，通过学习选择策略实现特征效益的高效获取。与现有最先进方法相比，该方法在各种数据集上都提供了一致的收益。

Jun, 2023

关于表示学习的互信息最大化

本文讨论自监督学习中互信息最大化方法的局限性，并提出了在特征提取器架构和互信息估算器参数化中彰显归纳偏置的重要性，并展示了这种方法的成功与深度度量学习之间的联系。

Jul, 2019

鲁棒性深度表征的信息论学习

本文提出一种基于信息论的学习鲁棒性深度表示的新颖目标函数，通过将数据投影到特征矢量空间，最大化相对于监督信号的所有特征子集的互信息，得到鲁棒表示，其对噪声或不可用特征的信息保留能力较强，我们利用一种替代目标函数最小化的方式实现此目标函数并进行实验验证。

May, 2019

可解释性作为统计推论

通过统计推断方法构建了一种概率模型，通过学习模型参数和使用神经网络选择器来实现解释性预测，并利用新数据集进行了实验验证，证明了使用多重插补提供了更合理的解释。

Dec, 2022

基于互信息的特征选择方法综述

本文介绍了信息论特征选择方法的现状，阐明了特征相关性、冗余性和补充性（协同作用）的概念，以及马尔科夫毯子。定义了最优特征选择的问题。我们描述了一个统一的理论框架，它可以使成功的启发式标准符合相应方法所做的近似。还介绍了该领域中的一些未解决问题。

Sep, 2015

对抗式不忠学习用于模型解释

提出了一种 MEED 框架，其中包括了用于模型解释的实例特征选择技术和基于对抗性不忠诚学习的解释器的设计，以及整合了有效解释方法作为良好的先验知识的扩展，实验结果表明该方法效果优越，可应用于数据挖掘和知识发现。

Jun, 2020

互信息准则的主动特征选择

本文针对标签信息有限的情况，提出了基于互信息和纯探索多臂老虎机的主动特征选择算法，并通过实验证明了其有效性。

Dec, 2020