黑盒分类器的信息论视觉解释

Sep, 2020

Information-Theoretic Visual Explanation for Black-Box Classifiers

Jihun Yi, Eunji Kim, Siwon Kim, Sungroh Yoon

TL;DR该研究从信息熵角度试图解释任意黑匣子分类器的预测结果，比现有方法提高了量化评价的正确性，通过提供两个信息熵评估指标（信息增益图和逐点互信息图）来分别提供类别无关和类别特定的结果。作者还对 ImageNet 分类器进行了详细分析，并提供了在线代码。

Abstract

In this work, we attempt to explain the prediction of any black-box classifier from an information-theoretic perspective. For each input feature, we compare the classifier outputs with and without that feature using two information-theoretic metrics. Accordingly, we obtain two

black-box classifier information-theoretic metrics attribution maps imagenet classifier quantitative metric

发现论文，激发创造

高斯过程的信息论元学习

利用相互信息和信息瓶颈的概念对元学习进行了建模，提出了一种通用的可行的框架，用于学习任务描述的随机表示或编码，该表示对于预测验证集具有高度的信息量，并开发了一种基于记忆的算法，用于少样本分类问题的研究。

Sep, 2020

信息论引导的启发式渐进多视角编码

利用信息理论建立一个三层渐进式多视图编码方法 (IPMC) 来学习多视图表示，并通过理论和实证研究证明了 IPMC 方法相比于现有方法的优越性。

Aug, 2023

DNN 的概率表示：连接互信息和泛化

本文提出了一种概率表示方法，用于准确估计深度神经网络的互信息，并利用估计器验证了信息理论对泛化的解释，得出了比现有方法更紧密的泛化界限。

Jun, 2021

通过条件互信息推理广义化问题

该论文提出了一个信息理论框架来研究机器学习算法的泛化性能，利用条件互信息量化算法输出和训练数据之间的关系，并提出基于 VC 维、压缩方案、差分隐私等方法来获得有界的条件互信息，从而得出泛化的各种形式。

Jan, 2020

信息熵探测的贝叶斯框架

该论文提出了一种名为贝叶斯互信息的新框架，它从贝叶斯代理的角度分析信息，使得在有限数据情况下处理可以帮助增加信息的同时也有可能削减信息，更加符合机器学习应用的直觉，最终将该框架运用到探针任务中，通过限制可用背景知识来实现抽取的易于性。

Sep, 2021

广义界限：信息论和 PAC-Bayes 的视角

该研究旨在提供信息论概括界限及其与 PAC-Bayes 的关联的全面介绍，为最近的发展提供基础，广泛面向对概括和理论机器学习感兴趣的研究人员。

Sep, 2023

通过互信息反向传播学习无偏表示

利用信息论的有关发现，我们提出了一种新的端到端优化策略，该策略同时估计和最小化学习表示和数据属性之间的互信息，通过这种策略，我们的模型在标准基准测试中表现出与最先进的方法相当或优越的分类性能，此方法可应用于问题的 “算法公平性”，并得到了竞争性的结果。

Mar, 2020

学习算法泛化能力的信息论分析

本研究提出了一种基于信息理论的泛化误差上界方法，用以控制模型的输入输出互信息，进而指导在数据适配和泛化之间寻找平衡点。在此基础上，我们探索了一些方法，包括利用相对熵或随机噪声来正则化 ERM 算法等。这些方法扩展和改进了 Russo 和 Zou 的最近工作。

May, 2017

不变信息瓶颈用于域泛化

本文提出了一种新的不变信息瓶颈（IIB）的域泛化方法，它采用互信息的变分形式来为非线性分类器开发可处理的损失函数，以实现最小化不变风险和减轻伪不变特征和几何偏移对模型的影响。在合成数据集上，IIB 可以显著优于 IRM（不变风险最小化），并且在实际数据集上平均优于 13 个基线方法 0.9％。

Jun, 2021

基于贝叶斯主动学习的分类和偏好学习

通过使用预测熵计算信息增益，我们提出了一种方法来优化高斯过程分类器的主动学习，同时也将其扩展到高斯过程偏好学习，相比其他主动学习和决策理论方法，我们的方法可以在相等或更低的计算复杂度下获得相同的实验性能。

Dec, 2011