Jan, 2013

公平性、互信息和最大信息系数

PDF
TL;DR提出了一种新的统计量 —— 最大信息系数 (MIC)，用于量化随机数量对之间的任意依赖关系，但证明了 MIC 不满足平等性定义。因此，我们提出了自洽且更普遍的平等性定义，并表明互信息满足这一新的定义，而 MIC 则不满足。最后，证明了 Reshef 等人提供的模拟证据是人为的。因此，我们得出结论，估计互信息不仅在许多实际应用中是可行的，而且还提供了一个自然的解决方案来量化大数据集中的相关性问题。
maximal information coefficientmutual informationequitabilitydependence measuredata processing inequality
发现论文，激发创造
  • Copula Correlation：一种公平的依赖度量和 Pearson 相关系数的扩展

    本文提出了一种新的统计量，以在噪声数据中准确反映确定性信号的比例，基于这种情况提出了新的公平性定义，与两个定义相比，基于 Copula 密度的 Copula 相关性 (Ccor) 在两个定义下都是公平的，相对于互信息，Ccor 在理论上更容易估计，并且在数值研究中表现出了良好的性能。

    Dec, 2013

  • 有力且公平地衡量依赖关系

    本文介绍和特征化了一种依赖性的人口测量 MIC*，并基于此理论引入了一种从一对随机变量的密度计算 MIC* 的有效方法，并定义了一个新的一致估计器 MICe 以及一个旨在强制独立性测试而非公平性的简单副产品 TICe，在仿真中证明了 MICe 和 TICe 分别具有良好的公平性和功率以及能够在高维数据集中挖掘出坚实关联的能力。

    May, 2015

  • 主导相关度测量的实证研究

    本文通过对多种独立性度量方法的经验评估，发现 MICe 在大多数设置下是最公平的方法，TICe 可以过滤掉相对无用的关系，并发现了一个关于独立性和公平性之间的权衡。

    May, 2015

  • 差分隐私极大信息系数

    介绍了一种新的统计学方法，MICr 统计量，用于在保持差分隐私的同时近似计算 Maximal Information Coefficient，并证明 MICr 是 MIC 的一致估计器。

    Jun, 2022

  • 对 Reshef Et Al 的《Science Dec 16, 2011》论文 “在大型数据集中检测新的关联性” 的评论

    研究比较了 MIC 与 Pearson 相关系数和距离相关系数在不同情况下的功率表现，发现 MIC 在大多数情况下的功率都比 dcro 低，甚至有时候比 Pearson 相关系数还低。

    Jan, 2014

  • 改进的互信息度量用于分类和社区检测

    本文介绍了互信息这一信息论中的重要量，在分类学和社区检测分析中被广泛应用，但在实际应用中常常会由于丢失关键的部分而产生误差。针对这一问题，本文提出了一种修正的互信息量，并讨论了该量化指标的实际实现方法和实例应用。

    Jul, 2019

  • 最大切片互信息

    本文提出了一种信息理论的广义 CCA 方法，称为最大切片互信息（mSMI），它通过低维投影识别高维变量之间的最大互信息，能捕捉数据中的复杂依赖关系并具有较快的计算和可扩展的估计能力，同时保留了 Shannon 互信息的优秀结构特性和独立性的识别，提出了高效计算的神经估计器，并给出了其非渐近误差界。实验结果表明，在独立性检测、多视图表示学习、算法公平性和生成建模等任务中，mSMI 方法在几乎没有计算开销的情况下始终优于竞争方法。

    Sep, 2023

  • 超越常规：互信息估计评估

    本文构建了一个多样的分布族，展示了语言无关基准平台用于互信息估计器的实用性和局限性，并提出了适应问题困难度的适当估计器的选择指南及应用估计器时需要考虑的问题。

    Jun, 2023

  • 有关互信息和统计估计准确度的一些关系

    该研究探讨了互信息与统计估计误差之间的关系，通过总结 MI 与 Fisher information 之间的二阶关系、MI 与最小均方误差之间的下限关系，以及在有干扰参数的情况下 MI、FI 和 MMSE 之间的不等式和对应关系等，揭示了信息和估计保真度之间的基本联系。

    Oct, 2010

  • 互信息的下界

    我们发现在 A. Kraskov 等人的文章中声称两个实值随机变量之间的互信息的下界存在错误，并提出了一种新的方法建立在较弱的假设下得到较紧的下界，并在基因表达数据中展示了这种方法的实用性。

    Aug, 2010