Dec, 2017

随机变量函数熵的界限及其应用

PDF
TL;DR本文给出了当函数 f 不是一对一关系时 H (f (X)) 的紧密下界，并且当只知悉极大和极小概率之间比率的限制时，获得了概率分布熵的下界，该下界已经超越了文献中的先前结果，并且它在本文中的几种情形下有实际应用。
entropyrandom variablefunctionprobability distributionlower bound
发现论文，激发创造
  • 联合分布的信息不等式：解释与应用

    通过子集联合熵的任意集合，得到一组随机变量的联合熵的上下界，同时展现了这些不等式对拟模函数的一般新结果的特殊情况，进而得到解决组合学问题、矩阵理论、相对熵等方面的新不等式。

    Dec, 2008

  • 离散和连续变量混合熵

    本文将信息熵的概念自然地扩展到含一个离散和一个连续随机变量的混合 - 对随机变量，并获得了混合离散和连续随机变量下熵不变的充分条件。因此，可以推断这个框架可以用于建立复杂过程的概率性质，如负载平衡系统、排队网络、缓存算法，同时基于此还可以获得连续时间马尔可夫链的熵率等。

    Jul, 2006

  • 从有限样本中估计概率分布的函数，第一部分：贝叶斯估计量和香农熵

    本文介绍了在数据是从离散概率分布抽取的有限样本时，对熵和其他函数的估计器，尤其是当概率分布为联合分布时，我们提出了对该概率分布的互信息、协方差和卡方函数的有限样本估计器。

    Mar, 1994

  • 离散分布函数的最大似然功能估计

    针对离散分布函数的函数估计问题，利用浓度不等式和正线性算子逼近理论分析了 MLE 估计器的最坏情况的平方误差风险及其期望偏差。研究表明，MLE 在估计香农熵和 F_α(P) 产生了次优的样本复杂度，且 Dirichlet 先验平滑技术不能达到最小化极值。

    Jun, 2014

  • 离散分布函数的函数估计极小化

    本文提出了一种构建广义极小极大估计器的方法，以及一个基于多项分布的特殊案例。并在熵和互信息估计领域展示了这一方法的实用性和优势。

    Jun, 2014

  • 关于 $d$- 无关随机变量的联合熵

    研究了 n 个 d - 元独立离散随机变量的联合熵在个体分布限制的约束下的最小值，提出并改进了已有的结论，并在特殊情况下证明了匹配的上限和最低值的下限。

    Mar, 2015

  • $f$- 散度不等式

    本文介绍了一些系统性的方法来获得在任意字母表上定义的概率测度对之间的 f - 差异不等式，其中包括函数占优方法、基于矩不等式和对数凸性属性的方法；在对相对信息性施加有界性假设的情况下，本文还阐述了各种界限，并特别关注了总变差距离及其与相对信息和相对熵的关系，包括 “reverse Pinsker 不等式”，以及广义化的总变差距离 Eγ 差异。

    Aug, 2015

  • Hoeffding 不等式

    本文介绍了一种新型不等式，证明了在一些条件限制下，随机变量的和的尾数的概率小于等于具有相同条件限制的伯努利随机变量之和的概率。

    Oct, 2004

  • 独立随机变量函数的矩不等式

    本文提出了一种泛化的基于张量不等式的新熵方法，用于获得独立随机变量函数的矩不等式，这些不等式证明是一种广泛应用的工具。作者以一种轻松的方式重新推导出一些经典不等式，并讨论了该方法的其他应用。

    Mar, 2005

  • 关于熵最小化和相关问题的困难度

    本研究探讨了 Shannon 信息度量的某些优化问题，包括在凸区域上极小化联合和条件熵（H（X，Y），H（X | Y），H（Y | X））和最大化互信息（I（X；Y）），并介绍了新（伪）度量，并证明了它们的计算是 NP-hard 的。

    Jul, 2012