Aug, 2010
互信息的下界
Lower Bounds on Mutual Information
David V. Foster, Peter Grassberger
TL;DR我们发现在 A. Kraskov 等人的文章中声称两个实值随机变量之间的互信息的下界存在错误,并提出了一种新的方法建立在较弱的假设下得到较紧的下界,并在基因表达数据中展示了这种方法的实用性。
Abstract
We correct claims about lower bounds on mutual information (MI) between
real-valued random variables made in A. Kraskov {\it et al.}, Phys. Rev. E {\bf
69}, 066138 (2004). We show that non-trivial →
发现论文,激发创造
随机线性估计中的互信息
该论文中提出了一种新的估计信号的方法,可以在压缩感知、稀疏叠加编码或分割多路接入等应用中使用,该方法基于统计物理的启发式重复方法,使用 Guerra 类型插值和空间耦合分析,得出了相对精确的互信息估计和最小均方误差单字公式,可以应用于所有离散有界信号的随机高斯线性估计。
Jul, 2016
互信息的变分上下界
本文提供了通用的、数据无关的 Mutual Information 估计方法,其中包括新的下限估计器。通过实验测试我们的方法在高维问题中具有强大的表现,特别是在变量之间存在非线性关系时。
May, 2019
高度相关变量互信息的有效估计
提出了一种新的相互信息非参数估计值,解决了其他方法基于局部分布均匀性计算相互信息的局限性,对于很少的数据也可以准确地估计两个相关变量之间的相互信息,并且在合成和真实世界数据上表现出卓越的性能。
Nov, 2014
MINDE: 互信息神经扩散估计
通过基于 Girsanov 定理的新方法,我们提出了一种估计随机变量之间互信息(MI)的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度,并衍生出估计随机变量熵的方法。我们的结果表明,我们的方法在挑战性分布情况下比文献中的主要替代方法更准确,并通过自洽性测试,包括数据处理和独立性下的可加性。
Oct, 2023
超越常规:互信息估计评估
本文构建了一个多样的分布族,展示了语言无关基准平台用于互信息估计器的实用性和局限性,并提出了适应问题困难度的适当估计器的选择指南及应用估计器时需要考虑的问题。
Jun, 2023