Jun, 2016

使用分段对数和指数不等式保证单变量混合体的 Kullback-Leibler 散度

PDF
TL;DR该研究提出了一种快速通用的方法，可以对混合模型的熵、交叉熵和 KL 散度的闭合形式下限和上限进行算法生成。
发现论文，激发创造
  • 使用成对距离估算混合熵

    提出一种基于混合成分之间的成对距离函数的家族估计器，该家族具有许多优越的性质，可用于计算混合熵，并在优化最大化 / 最小化熵和互信息的问题中非常有用，例如 MaxEnt 和速率失真问题。

    Jun, 2017

  • Kullback-Leibler 损失函数估计器合并的最优指数界

    本篇研究文章探讨了针对各种概率模型使用 Kullback-Leibler 距离的模型选择类型聚合问题。文章提出了两种聚合方法，并使用惩罚极大似然准则选择聚合权重，给出了高概率的锐利的神谕不等式和相应的下界结果。

    Jan, 2016

  • Kullback-Leibler 散度和似然的注记

    讨论了 Kullback-Leibler (KL) 散度在可能性理论中的关系，在附录中对其进行了简单严谨的推导，并强调了其在神经编码领域中的自然应用。

    Apr, 2014

  • Cauchy 分布的 Kullback-Leibler 散度的闭式公式

    本文提出了一种针对柯西分布之间 KL 散度的闭式表达式，利用一种新的定积分计算。公式表明，柯西密度之间的 KL 散度始终是有限且对称的。

    May, 2019

  • 从 $ε$- 熵到 KL - 熵：最小信息复杂度密度估计的分析

    本篇论文研究了基于 KL 散度的复杂度度量方法，为确定性和随机密度估计器的统计复杂度提供了一般的信息理论不等式，并发现这种技术可以改进一些经典结果，特别是可以导出干净的有限样本收敛界限。

    Feb, 2007

  • 通过 $h$-Lifted Kullback--Leibler Divergence 在紧致域上进行混合密度估计的风险界限

    基于样本数据，我们考虑使用某个组件类的有限混合密度来估计概率密度函数的问题，并引入 H - 提升 Kullback-Leibler（KL）散度作为标准 KL 散度的一种泛化和进行风险最小化的准则。在紧支持假设下，我们证明了使用 H - 提升 KL 散度时估计误差的期望具有 O (1/√n) 的上界，这扩展了 Rakhlin 等人（2005）和 Li 和 Barron（1999）的结果，从而允许风险绑定到非严格正的密度函数。我们使用 Majorization-Maximization 框架开发了相应的最大 H - 提升似然估计器（H-MLLE）计算方法，并提供了实验结果以支持我们的理论界限。

    Apr, 2024

  • Rényi 散度与 Kullback-Leibler 散度

    本文概述了 Rényi 离散度和 Kullback-Leibler 离散度之间的关系，介绍了 Rényi 离散度的最重要性质，包括凸性、连续性、Pythagorean 不等式等，并将通道容量的等效性质扩展到了连续通道输入上，并给出了其他一些 minimax 结果。

    Jun, 2012

  • 具有 Kullback-Leibler 和 Renyi 积分界限的变分自编码器学习

    该论文提出了两种可用于变分推断和特别是变分自编码器训练的基于 Kullback-Leibler 和 Rényi 分歧的对数似然的新界限，这受到在连续数据集上训练 VAE 时遇到的困难的启发，同时避免了给数据添加任何额外噪音来源的必要，具有数值稳定的训练程序。

    Jul, 2018

  • 正态 - 伽玛分布的 Kullback-Leibler 散度

    本文研究了正态 - 伽马分布的 Kullback-Leibler 散度，并发现它与具有共轭先验的单变量一般线性模型的贝叶斯复杂度惩罚相同。在此基础上，我们提供了两个 KL 散度的应用，一个是在模拟数据中，一个在实证数据中。

    Nov, 2016

  • $f$- 散度不等式

    本文介绍了一些系统性的方法来获得在任意字母表上定义的概率测度对之间的 f - 差异不等式，其中包括函数占优方法、基于矩不等式和对数凸性属性的方法；在对相对信息性施加有界性假设的情况下，本文还阐述了各种界限，并特别关注了总变差距离及其与相对信息和相对熵的关系，包括 “reverse Pinsker 不等式”，以及广义化的总变差距离 Eγ 差异。

    Aug, 2015