Jun, 2023

超越常规：互信息估计评估

PDF
TL;DR本文构建了一个多样的分布族，展示了语言无关基准平台用于互信息估计器的实用性和局限性，并提出了适应问题困难度的适当估计器的选择指南及应用估计器时需要考虑的问题。
发现论文，激发创造
  • 互信息的分布

    本文提供了关于贝叶斯网中互信息的先验分布、后验分布以及互信息分布的计算方法，以及这些方法的可靠快速的近似。

    Dec, 2001

  • 估计互信息

    本文介绍了基于 $k$- 最近邻距离的熵估计的改进互信息估计器类别，并说明了它们与现有算法的比较和实际应用中的有效性。

    May, 2003

  • 理解变分互信息估计器的局限性

    论文提出并实现了一种新的基于神经网络的相互信息估计方法，该方法能够有效地减少方差并针对基准测试任务展现出更好的偏差 - 方差权衡性能。

    Oct, 2019

  • 通过局部高斯近似估计互信息

    提出了一种新的半参数估计互信息的方法，该方法使用高斯分布来局部逼近密度函数，与其他基准方法相比具有更好的性能，并能准确地测量许多数量级上的关系强度。

    Aug, 2015

  • 混合物和神经评论家：关于细度分布的点互信息特征

    本文研究相互信息、逐点相互信息轮廓、多元正态分布、蒙特卡洛方法，该研究还使用精细分布来研究现有相互信息估计器的局限性、变分估计器中使用的神经评论家的行为以及实验异常值对相互信息估计的影响，并展示了如何使用精细分布来获得基于模型的贝叶斯估计的相互信息，适用于具有领域专业知识且需要不确定性量化的问题。

    Oct, 2023

  • 在大型网络中估计互信息和多信息

    提出了一种在大型网络中估计信息关系的实用方法，可以可靠地估计互信息和多个信息项，并通过基因表达、金融市场和消费者偏好等领域的分析加以说明。

    Feb, 2005

  • 高度相关变量互信息的有效估计

    提出了一种新的相互信息非参数估计值，解决了其他方法基于局部分布均匀性计算相互信息的局限性，对于很少的数据也可以准确地估计两个相关变量之间的相互信息，并且在合成和真实世界数据上表现出卓越的性能。

    Nov, 2014

  • 数据高效的互信息神经估计器

    本文提出了一种基于神经网络的数据效率更高的 Mutual Information 估计方法 DEMINE，通过放松预测 MI 下限来提高数据效率，并采用任务扩充方法 Meta-DEMINE 进一步优化其推广性和估计准确性，可用于实际数据集大小的统计依赖性检测。

    May, 2019

  • 基于依赖图的可伸缩互信息估算

    我们提出了一种新的较低计算复杂度的非参数 MI 估计方法 - Ensemble Dependency Graph Estimator (EDGE)，并证明当密度可微分时可以达到理论最优渐近均方误差收敛速度，并显示其用于信息平面和深度学习中的实用性。

    Jan, 2018

  • 改进的互信息度量用于分类和社区检测

    本文介绍了互信息这一信息论中的重要量，在分类学和社区检测分析中被广泛应用，但在实际应用中常常会由于丢失关键的部分而产生误差。针对这一问题，本文提出了一种修正的互信息量，并讨论了该量化指标的实际实现方法和实例应用。

    Jul, 2019