Jun, 2020

在 $f$- 散度和积分概率度量之间的最优界限

PDF
TL;DR该研究系统研究了从凸性对偶的角度出发将 $f$-divergences 和 Integral Probability Metrics 两个家族联系在一起的关系，派生出一种广义的矩生成函数并在此基础上得出了许多针对 $f$-divergences 的新的下限。此外，研究还证明了衍生出的这种下限的不同拓扑性质。
f-divergencesintegral probability metricsconvex dualitymoment-generating functionhammersley-chapman-robbins bound
发现论文，激发创造
  • 关于积分概率度量、φ- 散度和二元分类

    论文研究了概率上的一个距离度量（即积分概率度量），并提出这种度量具有一些新颖的性质，例如与二分类器的关系，可以拓展到更广泛的实际应用中。

    Jan, 2009

  • $f$- 散度不等式

    本文介绍了一些系统性的方法来获得在任意字母表上定义的概率测度对之间的 f - 差异不等式，其中包括函数占优方法、基于矩不等式和对数凸性属性的方法；在对相对信息性施加有界性假设的情况下，本文还阐述了各种界限，并特别关注了总变差距离及其与相对信息和相对熵的关系，包括 “reverse Pinsker 不等式”，以及广义化的总变差距离 Eγ 差异。

    Aug, 2015

  • 通过最大似然密度比估计统一考虑概率差异：连接 KL - 差异和积分概率度量

    本文从最大似然密度比估计的角度提供了一个统一的视角，用于解释 Kullback-Leibler（KL）散度和积分概率度量（IPMs）。我们表明 KL 散度和 IPMs 可以表示为仅有样本采样方案不同的最大似然估计值的形式，利用这个结果导出了 IPMs 的统一形式和一种松弛的估计方法。我们构建了一个无限制最大似然估计器来执行分层采样方案的 DRE，进一步提出了一个新的概率差异类，称为密度比度量（DRMs），其插值了 KL 散度和 IPMs。此外，我们还介绍了一些 DRMs 的应用，例如 DRE 和 GAN。在实验中，我们验证了我们提出的方法的有效性。

    Jan, 2022

  • 通过 Rényi、$f$-Divergences 和最大泄漏实现的广义误差界限

    本文研究如何利用边缘分布和随机变量之间的依赖关系来估计概率事件的概率，并在自适应数据分析和学习理论中应用，其中包括 Sibson 的互信息、α- 散度、Hellinger 散度、f - 散度等多种方法，并将最大泄密量作为特例进行了研究。

    Dec, 2019

  • 通过限制概率测度实现 f - 分歧的更紧凑变分表示

    本文通过收紧文献中已使用的 f-divergences 变分表示方法，提出了更紧的表示方法。作为一个示例应用，我们使用更紧的表示法推导出一种基于两个独立同分布样本的通用的 f-divergence 估计器，并推导出该估计器的对偶程序，在实践中表现良好。我们还指出了该估计器与最大均值差异 (MMD) 之间的联系。

    Jun, 2012

  • 二元实验的信息、离散度和风险

    本文通过系统地研究这些对象和它们的积分和变分表示，识别了它们的原语，将其与成本敏感的二进制分类联系起来，阐明了生成和判别视图之间的关系，提供了更紧密和更广泛的代理损失界限和广义 Pinsker 不等式，并提出了估计 f 散度的新技术。

    Jan, 2009

  • 关于 $f$- 散度对及其联合取值范围

    对两个 f - 分布进行比较，证明它们的联合范围是仅支持两个点的分布联合范围的凸包，并给出了一些应用。

    Jul, 2010

  • 关于 $(f,Γ)$-GAN 的浓度不等式

    GANs 的统计一致性研究：通过导出有限样本集中不等式，扩展了 $(f,\Gamma)$-GANs 理论的适用领域，同时在适当的极限情况下，与基于积分概率度量的 GANs 结果相符，并展现出在多个应用中提供提升性能的能力。

    Jun, 2024

  • 通过凸风险最小化估计分歧函数和似然比

    本文提出了一种基于非渐进变分表征的凸经验风险优化方法，用于估计 $f$- 散度和两个概率分布的似然比，通过解决标准凸规划求解，可以实现简单的实现，可在某些情况下达到最优最小风险速率。

    Sep, 2008

  • Sobolev GAN

    本文提出了一个新的在分布之间比较均值差异的积分概率度量（Integral Probability Metric，简称 IPM）：Sobolev IPM。Sobolev IPM 可以被看作是高维分布的一维 Von-Mises Cramér 统计量的扩展，并且可以用于训练生成式对抗网络（Generative Adversarial Networks，简称 GAN）。同时本文展示了 Sobolev GAN 能够在 CIFAR-10 半监督学习中取得出色的结果。

    Nov, 2017