Nov, 2017

基于互信息的非参数独立性检验

PDF
TL;DR提出了一种称为 MINT 的新方法，该方法基于互信息的估计，并使用从最近的邻居距离导出的有效熵估计器，从而便于将互信息分解为联合和边际熵，用于检验两个多变量随机向量的独立性，并可将其扩展为基于测量协变量向量与误差向量独立性的新正态线性模型是否适配的卡方检验，并在模拟和真实数据上进行了数值研究。
发现论文，激发创造
  • 估计互信息

    本文介绍了基于 $k$- 最近邻距离的熵估计的改进互信息估计器类别，并说明了它们与现有算法的比较和实际应用中的有效性。

    May, 2003

  • 基于最近邻估计器的条件互信息独立性检验

    提出了一种基于条件互信息和局部置换方案的全非参数连续数据测试方法，能够适应强非线性相关性，表现优于基于核的测试，并在小样本和高维条件下可靠地模拟零分布。

    Sep, 2017

  • 超越常规：互信息估计评估

    本文构建了一个多样的分布族，展示了语言无关基准平台用于互信息估计器的实用性和局限性，并提出了适应问题困难度的适当估计器的选择指南及应用估计器时需要考虑的问题。

    Jun, 2023

  • 互信息的下界

    我们发现在 A. Kraskov 等人的文章中声称两个实值随机变量之间的互信息的下界存在错误，并提出了一种新的方法建立在较弱的假设下得到较紧的下界，并在基因表达数据中展示了这种方法的实用性。

    Aug, 2010

  • MINDE: 互信息神经扩散估计

    通过基于 Girsanov 定理的新方法，我们提出了一种估计随机变量之间互信息（MI）的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度，并衍生出估计随机变量熵的方法。我们的结果表明，我们的方法在挑战性分布情况下比文献中的主要替代方法更准确，并通过自洽性测试，包括数据处理和独立性下的可加性。

    Oct, 2023

  • 基于广义最近邻图的 Rényi 熵和互信息估计

    本文提出了一种基于非参数估计和广义最近邻图的计算 Renyi 熵和互信息的算法，证明了这种算法的几乎必然一致性和上限的收敛速度，并在实验中展示了其在独立子空间分析中的实用性。

    Mar, 2010

  • 高度相关变量互信息的有效估计

    提出了一种新的相互信息非参数估计值，解决了其他方法基于局部分布均匀性计算相互信息的局限性，对于很少的数据也可以准确地估计两个相关变量之间的相互信息，并且在合成和真实世界数据上表现出卓越的性能。

    Nov, 2014

  • 多元信息内容的通用度量

    本文提出一种新的多元信息量度方法，利用 Venn 图表明任意数量随机变量的信息内容，其基于信息共享的代数结构，考虑观察者共享信息的不同方式与不同阶数的信息关系，得到一种自由分配格的元素。通过联合信息和共享信息量的代数结构，得到了偏向分解所表示的冗余格。

    Sep, 2019

  • 通过局部高斯近似估计互信息

    提出了一种新的半参数估计互信息的方法，该方法使用高斯分布来局部逼近密度函数，与其他基准方法相比具有更好的性能，并能准确地测量许多数量级上的关系强度。

    Aug, 2015

  • 互信息的分布

    本文提供了关于贝叶斯网中互信息的先验分布、后验分布以及互信息分布的计算方法，以及这些方法的可靠快速的近似。

    Dec, 2001