该研究提出了一种快速通用的方法，可以对混合模型的熵、交叉熵和 KL 散度的闭合形式下限和上限进行算法生成。

Jun, 2016

本文提出了一种针对柯西分布之间 KL 散度的闭式表达式，利用一种新的定积分计算。公式表明，柯西密度之间的 KL 散度始终是有限且对称的。

May, 2019

本文研究了正态 - 伽马分布的 Kullback-Leibler 散度，并发现它与具有共轭先验的单变量一般线性模型的贝叶斯复杂度惩罚相同。在此基础上，我们提供了两个 KL 散度的应用，一个是在模拟数据中，一个在实证数据中。

Nov, 2016

本文概述了 Rényi 离散度和 Kullback-Leibler 离散度之间的关系，介绍了 Rényi 离散度的最重要性质，包括凸性、连续性、Pythagorean 不等式等，并将通道容量的等效性质扩展到了连续通道输入上，并给出了其他一些 minimax 结果。

Jun, 2012

本文讨论了 Kullback-Leibler 散度与总变异距离之间的关系，探讨了 Pinsker's 不等式和 Bretagnolle 和 Huber 的不等式以及它们在最小极大测试下限的应用。

Feb, 2022

本文导出了两个广义伽马分布之间的 Kullback-Leibler 散度的封闭形式解，旨在提供文献中很少详细解释的具有实际意义的结果的参考和指导。

Jan, 2014

通过实证和理论证明，逆向 Kullback-Leiber（RKL）分散度在大语言模型知识蒸馏中并非寻找模式而是均值寻找，与前向 Kullback-Leiber（FKL）优化目标相同，经过足够多的迭代后二者收敛。基于实践约束，提出了一种简单而有效的自适应 Kullback-Leiber（AKL）分散度方法，可以根据情况分配权重来结合 FKL 和 RKL，根据评估结果显示，该方法在多个任务上优于基准，并提高生成回答的多样性和质量。

Apr, 2024

通过改善 Doupled Kullback-Leibler Divergence 损失函数的对称性和引入全局信息进行一致性正则化，我们提出了更好的 IKL Divergence 损失函数，成功地实现了对抗训练和知识蒸馏任务的最新性能，具有重要的实用价值。

May, 2023

本文提出了基于 Kullback-Leibler（KL）散度度量宇宙微波背景大尺度数据的非高斯噪声成分分布，通过分析 Planck 2013 SMICA 温度涨落图，证明 KL 散度是一种非常有效的非参数测量方法，并与 Kolmogorov-Smirnov 测试结果做了对比。

Jun, 2015

本文介绍了一种解释深度卷积神经网络图像分类预测的方法，使用 Kullback-Leibler 散度来提供参数最相关的关注点，帮助理解和解释深度网络的预测，在此基础上评估了两种常见网络的表现。

Nov, 2017