关于熵最小化和相关问题的困难度
本文研究有限边缘集上香农信息量度的一些一般特性以及与最优化问题的关系,引入最小熵耦合的概念及其在信息理论、计算和统计学上的相关性,并研究由这些耦合所定义的偏度量族,特别是它们与总变差距离的关系,并给出对条件熵的新的表征。
Mar, 2013
通过子集联合熵的任意集合,得到一组随机变量的联合熵的上下界,同时展现了这些不等式对拟模函数的一般新结果的特殊情况,进而得到解决组合学问题、矩阵理论、相对熵等方面的新不等式。
Dec, 2008
本文提出了一种新型的最优熵输运问题,解决了在一般拓扑空间的非负有限 Radon 测度类中的问题,其中,最小化线性输运功能和两个凸熵功能的和,并讨论了对数熵输运问题,介绍了一种度量空间中的新 Hellinger-Kantorovich 距离,该距离具有很强的几何分析能力。
Aug, 2015
本篇论文研究了基于 KL 散度的复杂度度量方法,为确定性和随机密度估计器的统计复杂度提供了一般的信息理论不等式,并发现这种技术可以改进一些经典结果,特别是可以导出干净的有限样本收敛界限。
Feb, 2007
本论文研究广义独立性、熵、互信息和总相关度等集合上的组合信息度量,这些度量通过子模函数进行参数化,严格推广了相应的熵度量。我们证明,对于大类满足一种非负性条件的子模函数,与另一个参数固定的情况下,子模互信息实际上是一种子模函数。我们将这种度量与分类,可靠分区和物品覆盖等问题联系起来。
Jun, 2020
研究计算基于观测边际的离散对象的最大熵分布的问题,研究表明在一般条件下存在着多项式大小的描述,给出了一些关于近似计算和计数最大熵分布的算法,并且阐明了计算最大熵分布和计算数量之间的等价性。
Apr, 2013
研究表明,双部态 ρAB 的条件最小熵 Hmin(A | B)与最大纠缠状态的最大重叠直接相关,如果只允许对 rho_AB 的 B 部分进行局部操作。对于 A 为经典的特殊情况,这种重叠对应于猜测 B 给定 A 的概率。同时,将条件最大熵 Hmax(A | B)与 rho_AB 与在 A 上完全混合的乘积状态的最大保真度相关联。对于 A 为经典的情况,这对应于在 B 存在的情况下将 A 用作秘密密钥的安全性。因为最小和最大熵已知用于特定的信息处理任务,例如随机提取和状态合并,因此我们的结果建立了这些任务和基本操作问题之间的直接联系。例如,它们意味着给定 B 的情况下猜测 A 的概率(的对数)是从 A 相对于持有 B 的对手提取的一致秘密比特数的下界。
Jul, 2008
在合适的正则条件下,表明差分熵和 (离散) Shannon 熵分别是关于二次 Wasserstein 距离和 Ornstein 的 $ar d$- 距离的分布的 Lipschitz 函数,结合 Talagrand 和 Marton 的运输 - 信息不等式,可以用它们的 i.i.d. 近似来代替未知的多用户干扰。作为应用,证明了二用户高斯干扰信道的新的外界,特别是解决了 Costa (1985) 的 “缺失拐角点” 问题。
Apr, 2015
本文介绍了如何将信息论的关键概念推广到网络中,定义了网络集合的香农熵并解释了其与网络集合的吉布斯熵和冯・诺依曼熵之间的关系,这为通过最大熵理论获得网络零模型解决了关键问题,并在复杂网络领域的推理问题中发挥重要作用。
Jul, 2009