May, 2019

数据高效的互信息神经估计器

PDF
TL;DR本文提出了一种基于神经网络的数据效率更高的 Mutual Information 估计方法 DEMINE，通过放松预测 MI 下限来提高数据效率，并采用任务扩充方法 Meta-DEMINE 进一步优化其推广性和估计准确性，可用于实际数据集大小的统计依赖性检测。
mutual informationmineneural networksdata efficiencymeta-demine
发现论文，激发创造
  • MINE: 互信息神经估计

    本文提出了互信息神经估计（MINE），利用神经网络通过梯度下降来估计高维连续随机变量之间的互信息，并使用 MINE 来改进对抗训练的生成模型，并应用信息瓶颈来进行监督分类，实现了灵活性和性能的显著提高。

    Jan, 2018

  • CRYPTO-MINE：基于互信息神经估计的加密破解

    在密码学领域中，我们提出了一种全新的方法来估计明文和密文之间的互信息，通过应用神经网络来评估密码系统的效率，并分析了多种加密方案和基准方法的效果，同时探讨了信息泄漏与输入分布之间的关系。

    Sep, 2023

  • 理解变分互信息估计器的局限性

    论文提出并实现了一种新的基于神经网络的相互信息估计方法，该方法能够有效地减少方差并针对基准测试任务展现出更好的偏差 - 方差权衡性能。

    Oct, 2019

  • 深度学习可解释性的鲁棒互信息估计器

    本文提出了基于高斯混合模型的互信息估计算法 GMM-MI， 经验证其在深度学习模型的可解释性研究中表现良好，可用于评估自编码的潜在空间中变量的分离度和与物理量的相关性分布。

    Oct, 2022

  • 神经熵估计：一种更快的互信息估计方法

    提出了一种更快的方法，称为互信息神经熵估计（MI-NEE），其将互信息估计变为估计熵的过程，通过使用自定义参考分布和选择均匀分布作为参考分布来实现更快的收敛。

    May, 2019

  • 神经容量估计器：它们的可靠性如何？

    本研究对目前文献提出的神经互信息估计器如 MINE、SMILE、DINE 进行了对比评估，以探讨它们在容量估计方面的表现和应用效果。

    Nov, 2021

  • 同胚信息神经估计

    DINE 是一种估算连续随机变量条件互信息的新方法，通过变换使目标变量用更简单的分布替代，从而能够有效地评估条件互信息，并在估算互信息，条件互信息和条件独立性测试等三个任务中表现出比竞争对手更好的性能。

    Nov, 2022

  • 基于依赖图的可伸缩互信息估算

    我们提出了一种新的较低计算复杂度的非参数 MI 估计方法 - Ensemble Dependency Graph Estimator (EDGE)，并证明当密度可微分时可以达到理论最优渐近均方误差收敛速度，并显示其用于信息平面和深度学习中的实用性。

    Jan, 2018

  • MINDE: 互信息神经扩散估计

    通过基于 Girsanov 定理的新方法，我们提出了一种估计随机变量之间互信息（MI）的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度，并衍生出估计随机变量熵的方法。我们的结果表明，我们的方法在挑战性分布情况下比文献中的主要替代方法更准确，并通过自洽性测试，包括数据处理和独立性下的可加性。

    Oct, 2023

  • 利用退火和基于能量的上下界提高互信息估计

    本文提出了基于重要性采样的互信息估计方法，包括基于多样本退火重要性采样的全局互信息界限、基于广义 IWAE 的边际互信息界限和基于 MCMC 采样的更紧密的边际互信息界限。在深度生成模型中应用实验，取得了比现有界限更高的性能。

    Mar, 2023