Nov, 2016

正态 - 伽玛分布的 Kullback-Leibler 散度

PDF
TL;DR本文研究了正态 - 伽马分布的 Kullback-Leibler 散度，并发现它与具有共轭先验的单变量一般线性模型的贝叶斯复杂度惩罚相同。在此基础上，我们提供了两个 KL 散度的应用，一个是在模拟数据中，一个在实证数据中。
发现论文，激发创造
  • 计算两个广义伽马分布之间的 Kullback-Leibler 散度

    本文导出了两个广义伽马分布之间的 Kullback-Leibler 散度的封闭形式解，旨在提供文献中很少详细解释的具有实际意义的结果的参考和指导。

    Jan, 2014

  • 基于模拟的推断与广义 Kullback-Leibler 散度

    在基于模拟的推断中，我们提出了一种通用的 Kullback-Leibler 散度优化方法，可以处理非规范化分布，将常用的神经后验估计方法和神经比率估计方法统一为一个目标，并研究了一个混合模型，通过学习规范化基础分布和学习比率来同时发挥两者的优势，并给出了基准结果。

    Oct, 2023

  • Kullback-Leibler 散度和似然的注记

    讨论了 Kullback-Leibler (KL) 散度在可能性理论中的关系，在附录中对其进行了简单严谨的推导，并强调了其在神经编码领域中的自然应用。

    Apr, 2014

  • Kullback-Leibler 聚合和错误指定的广义线性模型

    本文介绍了在确定性设计下，回归设置中的简单聚合问题，并将其从高斯分布扩展到指数族分布。通过约束和 / 或罚分最大化方法解决此问题并导出了能够在期望和高概率情况下保持的谐振不等式。最后，证明了所有边界在最小化意义上都是最优的。

    Nov, 2009

  • 使用分段对数和指数不等式保证单变量混合体的 Kullback-Leibler 散度

    该研究提出了一种快速通用的方法，可以对混合模型的熵、交叉熵和 KL 散度的闭合形式下限和上限进行算法生成。

    Jun, 2016

  • Cauchy 分布的 Kullback-Leibler 散度的闭式公式

    本文提出了一种针对柯西分布之间 KL 散度的闭式表达式，利用一种新的定积分计算。公式表明，柯西密度之间的 KL 散度始终是有限且对称的。

    May, 2019

  • 基于健壮分歧的变分推断

    本文提出了一种鲁棒性强的伪贝叶斯变分方法，它通过将适用于数据拟合的 Kullback-Leibler 距离替换为 beta - 和 gamma - 距离，从而实现对深度网络等复杂模型的处理，并在实验中表现出比普通变分推断更好的鲁棒性。

    Oct, 2017

  • 对大型语言模型的知识蒸馏中库尔巴克 - 莱布勒散度的重新思考

    通过实证和理论证明，逆向 Kullback-Leiber（RKL）分散度在大语言模型知识蒸馏中并非寻找模式而是均值寻找，与前向 Kullback-Leiber（FKL）优化目标相同，经过足够多的迭代后二者收敛。基于实践约束，提出了一种简单而有效的自适应 Kullback-Leiber（AKL）分散度方法，可以根据情况分配权重来结合 FKL 和 RKL，根据评估结果显示，该方法在多个任务上优于基准，并提高生成回答的多样性和质量。

    Apr, 2024

  • 摄动黑盒变分推理

    本文针对黑盒变分推断方法提出了基于广义差异度量的偏置重要性采样方法，并通过变分扰动理论构建了一族新的变分上界，对多个模型进行实验得出新的变分上界在数据拟合上更优

    Sep, 2017

  • 贝叶斯网络的熵和库尔巴克 - 莱布勒散度：计算复杂度与高效实现

    本研究提供了针对贝叶斯网络的计算机算法，通过利用网络的图形结构，将 Shannon 熵和 Kullback-Leibler 散度的计算复杂度从三次降低到二次，并提供了完整的数值示例。

    Nov, 2023