MMOct, 2022

深度学习可解释性的鲁棒互信息估计器

PDF
TL;DR本文提出了基于高斯混合模型的互信息估计算法 GMM-MI， 经验证其在深度学习模型的可解释性研究中表现良好，可用于评估自编码的潜在空间中变量的分离度和与物理量的相关性分布。
mutual informationgaussian mixture modelsrepresentation learningdeep learninginterpretability
发现论文，激发创造
  • 用于表征学习的互信息梯度估计

    通过得分估计隐式分布，我们提出了互信息梯度估计器（MIGE），用于基于 InfoMax 和信息瓶颈方法的无监督学习深层表示，并扩展了 MIGE 的应用。在高维和大 MI 设置下，MIGE 表现出紧密和平滑的 MI 梯度估计，并且实验结果表明了学习有效表示的显着性能提高。

    May, 2020

  • 数据高效的互信息神经估计器

    本文提出了一种基于神经网络的数据效率更高的 Mutual Information 估计方法 DEMINE，通过放松预测 MI 下限来提高数据效率，并采用任务扩充方法 Meta-DEMINE 进一步优化其推广性和估计准确性，可用于实际数据集大小的统计依赖性检测。

    May, 2019

  • MINDE: 互信息神经扩散估计

    通过基于 Girsanov 定理的新方法，我们提出了一种估计随机变量之间互信息（MI）的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度，并衍生出估计随机变量熵的方法。我们的结果表明，我们的方法在挑战性分布情况下比文献中的主要替代方法更准确，并通过自洽性测试，包括数据处理和独立性下的可加性。

    Oct, 2023

  • 通过局部高斯近似估计互信息

    提出了一种新的半参数估计互信息的方法，该方法使用高斯分布来局部逼近密度函数，与其他基准方法相比具有更好的性能，并能准确地测量许多数量级上的关系强度。

    Aug, 2015

  • 广义互信息：一种用于判别聚类的框架

    本文介绍了深度聚类中相互信息作为无监督训练神经网络的客观标准的最大化并不能得到令人满意的聚类结果，并将核心距离更改为常见的挑战导致的原因。因此，我们通过引入广义相互信息 (GEMINI) 来推广相互信息，它是一组用于无监督神经网络训练的指标。与相互信息不同，一些 GEMINI 在训练时不需要正则化，因为它们在数据空间中具有几何意识的距离或核函数。最后，我们强调 GEMINI 可以自动选择相关的聚类数目，这是在深度判别聚类上很少研究的一个特性，因为聚类数目是先验未知的。

    Sep, 2023

  • 判别聚类的广义互信息

    本文提出了一种新的无监督神经网络训练度量标准 —— 广义互信息 (GEMINI)，相比于互信息，它不需要正则化且可自动选择群聚数目，并且是数据空间的几何感知度量，从而提供更好的聚类效果。

    Oct, 2022

  • DNN 的概率表示：连接互信息和泛化

    本文提出了一种概率表示方法，用于准确估计深度神经网络的互信息，并利用估计器验证了信息理论对泛化的解释，得出了比现有方法更紧密的泛化界限。

    Jun, 2021

  • 利用互信息学习说话者表示

    利用互信息作为无监督学习中一种重要的度量方式，设计一种基于编码器 — 判别器结构的音频信号 SincNet 编码器，通过最大化采样自同一句子块的编码表示之间的互信息来学习音频信号中说话者的特征表达，可成功地实现有效的说话者识别和验证任务。

    Dec, 2018

  • 基于依赖图的可伸缩互信息估算

    我们提出了一种新的较低计算复杂度的非参数 MI 估计方法 - Ensemble Dependency Graph Estimator (EDGE)，并证明当密度可微分时可以达到理论最优渐近均方误差收敛速度，并显示其用于信息平面和深度学习中的实用性。

    Jan, 2018

  • 利用退火和基于能量的上下界提高互信息估计

    本文提出了基于重要性采样的互信息估计方法，包括基于多样本退火重要性采样的全局互信息界限、基于广义 IWAE 的边际互信息界限和基于 MCMC 采样的更紧密的边际互信息界限。在深度生成模型中应用实验，取得了比现有界限更高的性能。

    Mar, 2023