介绍了一种利用 Kullback-Leibler 散度来监控多维数据流概率分布变化，以预测概念漂移事件并了解其本质的新方法，并探讨了其在预测维护等实际任务中的应用。

Oct, 2022

通过实证和理论证明，逆向 Kullback-Leiber（RKL）分散度在大语言模型知识蒸馏中并非寻找模式而是均值寻找，与前向 Kullback-Leiber（FKL）优化目标相同，经过足够多的迭代后二者收敛。基于实践约束，提出了一种简单而有效的自适应 Kullback-Leiber（AKL）分散度方法，可以根据情况分配权重来结合 FKL 和 RKL，根据评估结果显示，该方法在多个任务上优于基准，并提高生成回答的多样性和质量。

Apr, 2024

通过改善 Doupled Kullback-Leibler Divergence 损失函数的对称性和引入全局信息进行一致性正则化，我们提出了更好的 IKL Divergence 损失函数，成功地实现了对抗训练和知识蒸馏任务的最新性能，具有重要的实用价值。

May, 2023

在基于模拟的推断中，我们提出了一种通用的 Kullback-Leibler 散度优化方法，可以处理非规范化分布，将常用的神经后验估计方法和神经比率估计方法统一为一个目标，并研究了一个混合模型，通过学习规范化基础分布和学习比率来同时发挥两者的优势，并给出了基准结果。

Oct, 2023

通过测量干预估计的准确度来评估因果模型，并比较它与结构测量的结果，结果表明，结构测量往往与干预估计的准确度相差较远，因此建议使用干预分布的方法来评估因果模型，实证结果证实了结构测量在参数优化和算法选择上提供了误导。

Aug, 2016

本文提出了一种使用多模演示的模仿学习方法，针对现有方法中插值错误的问题，采用与专家状态 - 行动分布的正向 KL 散度相对应的反向 KL 散度，即 I-projection，作为不同 f - 散度估计和最小化的框架，并得出了比 GAIL 和行为克隆更加可靠的多模行为近似 I-projection 方法。

May, 2019

讨论了 Kullback-Leibler (KL) 散度在可能性理论中的关系，在附录中对其进行了简单严谨的推导，并强调了其在神经编码领域中的自然应用。

Apr, 2014

我们提出了一种基于嵌入干预分布的连续测量度量，用于衡量真实因果图与学习到的因果图之间的差异，该度量考虑了图结构之外的底层数据，通过最大（条件）均值差异来估计它们的差距。我们在合成数据上进行数值实验证实了我们的理论结果。

Jul, 2023

本文介绍了一种解释深度卷积神经网络图像分类预测的方法，使用 Kullback-Leibler 散度来提供参数最相关的关注点，帮助理解和解释深度网络的预测，在此基础上评估了两种常见网络的表现。

Nov, 2017

机器学习分类算法的性能通过评估混淆矩阵中的度量指标进行，但这并不能证明达到了最佳性能。通过使用信息距离测量，可以估计错误率的根本限制。混淆矩阵已经与 Chernoff-Stein 引理相结合，将错误率与描述两个类别的概率密度函数之间的 Kullback-Leibler 距离相关联。这导致了一个关键结果，将 Cohen's Kappa 与电阻器平均距离相关联，后者是两个 Kullback-Leibler 距离的并联电阻器组合。通过使用 kNN 估计 KullBack-Leibler 距离，从分类算法使用的相同训练数据对 Resistor Average Distance 进行估计，该距离以比特为单位。接下来，论文详细讨论了该理论和方法，并将其应用于蒙特卡洛数据和真实数据集。分析了四个非常不同的真实数据集 - 乳腺癌、冠心病、破产和粒子鉴别 - 其中包含连续值和离散值，并将它们的分类性能与预期的理论极限进行了比较。在所有情况下，这种分析表明由于两个类别的概率密度函数的底层特征，算法无法表现得更好。通过使用近似平衡的训练数据集来预测不平衡数据的算法性能，可以学到重要的教训。机器学习非常强大，但分类性能最终取决于数据的质量和变量与问题的相关性。

Mar, 2024