利用 KL - 散度聚焦于深度视觉解释

NIPSNov, 2017

利用 KL - 散度聚焦于深度视觉解释

Using KL-divergence to focus Deep Visual Explanation

Housam Khalifa Bashier Babiker, Randy Goebel

TL;DR本文介绍了一种解释深度卷积神经网络图像分类预测的方法，使用 Kullback-Leibler 散度来提供参数最相关的关注点，帮助理解和解释深度网络的预测，在此基础上评估了两种常见网络的表现。

Abstract

We present a method for explaining the image classification predictions of deep convolution neural networks, by highlighting the pixels in the image which influence the final class prediction. Our method requires

deep convolution neural networks image classification kullback-leibler divergence interpretability performance

发现论文，激发创造

解耦的 Kullback-Leibler 散度损失

通过改善 Doupled Kullback-Leibler Divergence 损失函数的对称性和引入全局信息进行一致性正则化，我们提出了更好的 IKL Divergence 损失函数，成功地实现了对抗训练和知识蒸馏任务的最新性能，具有重要的实用价值。

May, 2023

Kullback-Leibler 散度和似然的注记

讨论了 Kullback-Leibler (KL) 散度在可能性理论中的关系，在附录中对其进行了简单严谨的推导，并强调了其在神经编码领域中的自然应用。

Apr, 2014

通过 Kullback-Leibler 散度与 Cohen's Kappa 相关联的分类性能限制

机器学习分类算法的性能通过评估混淆矩阵中的度量指标进行，但这并不能证明达到了最佳性能。通过使用信息距离测量，可以估计错误率的根本限制。混淆矩阵已经与 Chernoff-Stein 引理相结合，将错误率与描述两个类别的概率密度函数之间的 Kullback-Leibler 距离相关联。这导致了一个关键结果，将 Cohen's Kappa 与电阻器平均距离相关联，后者是两个 Kullback-Leibler 距离的并联电阻器组合。通过使用 kNN 估计 KullBack-Leibler 距离，从分类算法使用的相同训练数据对 Resistor Average Distance 进行估计，该距离以比特为单位。接下来，论文详细讨论了该理论和方法，并将其应用于蒙特卡洛数据和真实数据集。分析了四个非常不同的真实数据集 - 乳腺癌、冠心病、破产和粒子鉴别 - 其中包含连续值和离散值，并将它们的分类性能与预期的理论极限进行了比较。在所有情况下，这种分析表明由于两个类别的概率密度函数的底层特征，算法无法表现得更好。通过使用近似平衡的训练数据集来预测不平衡数据的算法性能，可以学到重要的教训。机器学习非常强大，但分类性能最终取决于数据的质量和变量与问题的相关性。

Mar, 2024

使用 Kullback-Leibler 散度跟踪变化的连续学习

介绍了一种利用 Kullback-Leibler 散度来监控多维数据流概率分布变化，以预测概念漂移事件并了解其本质的新方法，并探讨了其在预测维护等实际任务中的应用。

Oct, 2022

关于干预型 Kullback-Leibler 散度

这篇研究论文介绍了一种新的方法，即干预 Kullback-Leibler（IKL）离散度，来量化因果模型之间的结构和分布差异，以提高在动态环境下的智能代理的转移知识能力。

Feb, 2023

基于深度分歧的聚类方法

我们提出了一种新的深度聚类网络，利用信息理论差异度量的鉴别能力，提出了一种新颖的损失函数，避免了聚类分区的退化结构。

Feb, 2019

强化区分度的损失函数以提高表示学习

通过引入 Gini impurity 所启发的新损失项和最小化两个高级特征分布之间的 Kullback-Leibler 散度，我们在两个图像分类数据集上进行了实验，并得出结论，将我们的新损失项集成到训练目标中始终优于仅使用交叉熵训练的模型，在不增加推理时间的情况下。

Feb, 2022

通道级知识蒸馏用于密集预测

利用 KL 散度和频道 - wise 蒸馏进行语义分割，以更小的计算成本，优于目前所有已知的空间蒸馏方法，可视为有效的知识提取方法。

Nov, 2020

对大型语言模型的知识蒸馏中库尔巴克 - 莱布勒散度的重新思考

通过实证和理论证明，逆向 Kullback-Leiber（RKL）分散度在大语言模型知识蒸馏中并非寻找模式而是均值寻找，与前向 Kullback-Leiber（FKL）优化目标相同，经过足够多的迭代后二者收敛。基于实践约束，提出了一种简单而有效的自适应 Kullback-Leiber（AKL）分散度方法，可以根据情况分配权重来结合 FKL 和 RKL，根据评估结果显示，该方法在多个任务上优于基准，并提高生成回答的多样性和质量。

Apr, 2024

用于游戏关卡分析和进化的瓦片模式 KL 散度

本文研究了使用 Kullback-Leibler（KL）散度作为比较和分析游戏关卡的方法，并将其作为进化算法的目标函数来演化新的关卡，使用不同大小的图块作为特征，提出了一种新型的卷积变异算子，与使用生成对抗网络的潜在空间和波函数坍塌等生成器进行了比较。结果表明，该方法具有竞争性能，训练速度快，生成速度合理，能够提供合理质量的结果。

Apr, 2019