Aug, 2015

$f$- 散度不等式

PDF
TL;DR本文介绍了一些系统性的方法来获得在任意字母表上定义的概率测度对之间的 f - 差异不等式，其中包括函数占优方法、基于矩不等式和对数凸性属性的方法；在对相对信息性施加有界性假设的情况下，本文还阐述了各种界限，并特别关注了总变差距离及其与相对信息和相对熵的关系，包括 “reverse Pinsker 不等式”，以及广义化的总变差距离 Eγ 差异。
f-divergenceprobability measuresrelative informationtotal variation distancerényi divergence
发现论文，激发创造
  • 在 $f$- 散度和积分概率度量之间的最优界限

    该研究系统研究了从凸性对偶的角度出发将 $f$-divergences 和 Integral Probability Metrics 两个家族联系在一起的关系，派生出一种广义的矩生成函数并在此基础上得出了许多针对 $f$-divergences 的新的下限。此外，研究还证明了衍生出的这种下限的不同拓扑性质。

    Jun, 2020

  • 通过 Rényi、$f$-Divergences 和最大泄漏实现的广义误差界限

    本文研究如何利用边缘分布和随机变量之间的依赖关系来估计概率事件的概率，并在自适应数据分析和学习理论中应用，其中包括 Sibson 的互信息、α- 散度、Hellinger 散度、f - 散度等多种方法，并将最大泄密量作为特例进行了研究。

    Dec, 2019

  • 通过 Renyi 散度对风险敏感的函数进行鲁棒边界

    将指数积分和相对熵之间的对偶性推广到涉及 Renyi 离散度的指数积分的变分公式。该公式表征了由尾部行为决定的风险敏感功能和相关量的依赖于底层分布扰动的程度，以 Renyi 离散度为基础。作为应用，考虑当模型的某些方面未完全知道时的不确定性量化问题，以及使用它们来限定难以处理的模型的尾部特性。

    Oct, 2013

  • 二元实验的信息、离散度和风险

    本文通过系统地研究这些对象和它们的积分和变分表示，识别了它们的原语，将其与成本敏感的二进制分类联系起来，阐明了生成和判别视图之间的关系，提供了更紧密和更广泛的代理损失界限和广义 Pinsker 不等式，并提出了估计 f 散度的新技术。

    Jan, 2009

  • 基于新离散度测量的可经验估计分类界限

    本文研究了信息分裂函数在统计学和信息理论中的作用，并提出了一种新的非参数 f 分裂测量方法，可以用于改进最小二分法分类错误的上限，并设计了特征选择算法以验证理论上的结果。

    Dec, 2014

  • 离散通道的强数据处理不等式和 $Φ$-Sobolev 不等式

    本文系统研究了离散通道中 SDPIs 的最优常数，包括它们的变分表征、上下界、产品概率空间上的通道结构结果以及 SDPIs 与所谓的 $\Phi$-Sobolev 不等式之间的关系，并讨论了对信息论、离散概率和统计物理的几个应用。

    Nov, 2014

  • Rényi 散度与 Kullback-Leibler 散度

    本文概述了 Rényi 离散度和 Kullback-Leibler 离散度之间的关系，介绍了 Rényi 离散度的最重要性质，包括凸性、连续性、Pythagorean 不等式等，并将通道容量的等效性质扩展到了连续通道输入上，并给出了其他一些 minimax 结果。

    Jun, 2012

  • 联合分布的信息不等式：解释与应用

    通过子集联合熵的任意集合，得到一组随机变量的联合熵的上下界，同时展现了这些不等式对拟模函数的一般新结果的特殊情况，进而得到解决组合学问题、矩阵理论、相对熵等方面的新不等式。

    Dec, 2008

  • 关于 $f$- 散度的收缩系数之间的线性界限

    本文旨在通过驱动输入 $f$- 散度达到零来实现对 $f$- 散度的收缩系数下界以及建立起特定类别下的高效改进上界，并证明了一些重要结论。

    Oct, 2015

  • 相对对数凹性及一对三角不等式

    研究了概率质量函数 (probability mass functions (pmf's)) 的相对对数凹性顺序。应用于多个问题，包括 Poisson 和二项分布的最大熵特征和相对熵的最佳二项式逼近。

    Oct, 2010