Sep, 2023

最大切片互信息

PDF
TL;DR本文提出了一种信息理论的广义 CCA 方法，称为最大切片互信息（mSMI），它通过低维投影识别高维变量之间的最大互信息，能捕捉数据中的复杂依赖关系并具有较快的计算和可扩展的估计能力，同时保留了 Shannon 互信息的优秀结构特性和独立性的识别，提出了高效计算的神经估计器，并给出了其非渐近误差界。实验结果表明，在独立性检测、多视图表示学习、算法公平性和生成建模等任务中，mSMI 方法在几乎没有计算开销的情况下始终优于竞争方法。
dependencecanonical correlation analysismutual informationmax-sliced mutual informationneural estimator
发现论文，激发创造
  • 切片互信息：一种可扩展的统计依赖度量

    本文提出了一种名为 Sliced MI（SMI）的关联系数测量方法，它是高维互信息的一种替代，通过对一维随机投影之间的互信息项求平均来定义，并且可以应用于特征提取。实验结果表明，与传统的互信息相比，SMI 在高维推断中具有潜在的优势。

    Oct, 2021

  • 神经网络的切片互信息广义界限

    通过切片参数空间，我们针对机器学习算法提出新的信息理论泛化界限，证明切片可以提高泛化，并通过压缩模型的失真来收紧泛化界限，从而实现对神经网络的信息理论泛化界限的计算。

    Jun, 2024

  • 基于依赖图的可伸缩互信息估算

    我们提出了一种新的较低计算复杂度的非参数 MI 估计方法 - Ensemble Dependency Graph Estimator (EDGE)，并证明当密度可微分时可以达到理论最优渐近均方误差收敛速度，并显示其用于信息平面和深度学习中的实用性。

    Jan, 2018

  • 信息最大化准则的自监督学习

    本文介绍一种基于互信息的 self-supervised 方法 CorInfoMax，该方法通过最大化高斯混合分布下的互信息解决了 mode collapse 和 dimensional collapse 问题。

    Sep, 2022

  • 针对数据子集选择的次模信息度量的理论分析

    通过导出与相关性和目标数据的覆盖相关的数量的相似性为基础的上下界，我们首次提供了关于 Submodular Mutual Information（SMI）在子集的相关性和覆盖范围方面的理论保证，展示了 SMI 函数在实现良好的查询相关性和查询覆盖方面的理论上的可靠性。

    Feb, 2024

  • 互信息的下界

    我们发现在 A. Kraskov 等人的文章中声称两个实值随机变量之间的互信息的下界存在错误，并提出了一种新的方法建立在较弱的假设下得到较紧的下界，并在基因表达数据中展示了这种方法的实用性。

    Aug, 2010

  • 机器学习中应用的次模组合信息度量

    本论文研究广义独立性、熵、互信息和总相关度等集合上的组合信息度量，这些度量通过子模函数进行参数化，严格推广了相应的熵度量。我们证明，对于大类满足一种非负性条件的子模函数，与另一个参数固定的情况下，子模互信息实际上是一种子模函数。我们将这种度量与分类，可靠分区和物品覆盖等问题联系起来。

    Jun, 2020

  • 利用机器学习进行信息分解，识别复杂系统中的相关变化

    通过信息熵，我们提出了一种实用的方法来解压数据中的重要变化，以研究复杂系统。

    Jul, 2023

  • 公平性、互信息和最大信息系数

    提出了一种新的统计量 —— 最大信息系数 (MIC)，用于量化随机数量对之间的任意依赖关系，但证明了 MIC 不满足平等性定义。因此，我们提出了自洽且更普遍的平等性定义，并表明互信息满足这一新的定义，而 MIC 则不满足。最后，证明了 Reshef 等人提供的模拟证据是人为的。因此，我们得出结论，估计互信息不仅在许多实际应用中是可行的，而且还提供了一个自然的解决方案来量化大数据集中的相关性问题。

    Jan, 2013

  • 深度学习可解释性的鲁棒互信息估计器

    本文提出了基于高斯混合模型的互信息估计算法 GMM-MI， 经验证其在深度学习模型的可解释性研究中表现良好，可用于评估自编码的潜在空间中变量的分离度和与物理量的相关性分布。

    Oct, 2022