Jan, 2018

基于依赖图的可伸缩互信息估算

PDF
TL;DR我们提出了一种新的较低计算复杂度的非参数 MI 估计方法 - Ensemble Dependency Graph Estimator (EDGE)，并证明当密度可微分时可以达到理论最优渐近均方误差收敛速度，并显示其用于信息平面和深度学习中的实用性。
mutual informationempirical non-parametric estimationensemble dependency graph estimatorcomputational complexityinformation bottleneck (ib)
发现论文，激发创造
  • 高度相关变量互信息的有效估计

    提出了一种新的相互信息非参数估计值，解决了其他方法基于局部分布均匀性计算相互信息的局限性，对于很少的数据也可以准确地估计两个相关变量之间的相互信息，并且在合成和真实世界数据上表现出卓越的性能。

    Nov, 2014

  • 通过局部高斯近似估计互信息

    提出了一种新的半参数估计互信息的方法，该方法使用高斯分布来局部逼近密度函数，与其他基准方法相比具有更好的性能，并能准确地测量许多数量级上的关系强度。

    Aug, 2015

  • 数据高效的互信息神经估计器

    本文提出了一种基于神经网络的数据效率更高的 Mutual Information 估计方法 DEMINE，通过放松预测 MI 下限来提高数据效率，并采用任务扩充方法 Meta-DEMINE 进一步优化其推广性和估计准确性，可用于实际数据集大小的统计依赖性检测。

    May, 2019

  • 用于表征学习的互信息梯度估计

    通过得分估计隐式分布，我们提出了互信息梯度估计器（MIGE），用于基于 InfoMax 和信息瓶颈方法的无监督学习深层表示，并扩展了 MIGE 的应用。在高维和大 MI 设置下，MIGE 表现出紧密和平滑的 MI 梯度估计，并且实验结果表明了学习有效表示的显着性能提高。

    May, 2020

  • 切片互信息：一种可扩展的统计依赖度量

    本文提出了一种名为 Sliced MI（SMI）的关联系数测量方法，它是高维互信息的一种替代，通过对一维随机投影之间的互信息项求平均来定义，并且可以应用于特征提取。实验结果表明，与传统的互信息相比，SMI 在高维推断中具有潜在的优势。

    Oct, 2021

  • 基于神经网络的逐点依存关系估计方法

    本文提出了两种方法（Probabilistic Classifier 和 Density-Ratio Fitting）来解决 MI 估计中存在的方差大的问题，这两种方法可以自然地获得点对点的依赖信息，为自监督学习和跨模态检索任务提供了有效方法。

    Jun, 2020

  • 基于广义最近邻图的 Rényi 熵和互信息估计

    本文提出了一种基于非参数估计和广义最近邻图的计算 Renyi 熵和互信息的算法，证明了这种算法的几乎必然一致性和上限的收敛速度，并在实验中展示了其在独立子空间分析中的实用性。

    Mar, 2010

  • 深度学习可解释性的鲁棒互信息估计器

    本文提出了基于高斯混合模型的互信息估计算法 GMM-MI， 经验证其在深度学习模型的可解释性研究中表现良好，可用于评估自编码的潜在空间中变量的分离度和与物理量的相关性分布。

    Oct, 2022

  • 超越常规：互信息估计评估

    本文构建了一个多样的分布族，展示了语言无关基准平台用于互信息估计器的实用性和局限性，并提出了适应问题困难度的适当估计器的选择指南及应用估计器时需要考虑的问题。

    Jun, 2023

  • MINDE: 互信息神经扩散估计

    通过基于 Girsanov 定理的新方法，我们提出了一种估计随机变量之间互信息（MI）的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度，并衍生出估计随机变量熵的方法。我们的结果表明，我们的方法在挑战性分布情况下比文献中的主要替代方法更准确，并通过自洽性测试，包括数据处理和独立性下的可加性。

    Oct, 2023