ICMLJun, 2020

CLUB: 对数比对比界限下的互信息

PDF
TL;DR本文提出了一种新的对数比上界（CLUB）方法来估计和最小化高维空间中的互信息，并在此基础上引入了互信息最小化训练方案，并进一步通过负采样策略进行加速，仿真实验表明 CLUB 方法的可靠性，真实世界的互信息最小化实验，包括领域适应和信息瓶颈，证明了所提出方法的有效性。
mutual informationhigh-dimensional spacesclubvariational approximationnegative sampling
发现论文，激发创造
  • 多标签对比预测编码

    本文提出了一种基于多标签分类问题的新的变分互信息估计器，能够超越对数上界且仍然是互信息的一个有效下界，该方法具有更好的互信息估计性能，在无监督表示学习中实现了实证改进，并在 13 项任务中超越了当前最先进的知识蒸馏方法。

    Jul, 2020

  • 互信息的变分上下界

    本文提供了通用的、数据无关的 Mutual Information 估计方法，其中包括新的下限估计器。通过实验测试我们的方法在高维问题中具有强大的表现，特别是在变量之间存在非线性关系时。

    May, 2019

  • 通过近似贝叶斯最优预测进行信息泄露检测

    在当今数据驱动的世界中，公开可用信息的广泛传播加剧了信息泄漏（IL）的挑战，提高了安全性问题。本研究利用统计学习理论和信息论建立了一个理论框架来准确量化和检测 IL。该方法通过近似贝叶斯预测器的对数损失和准确度来准确估计互信息（MI），并使用自动化机器学习（AutoML）来近似贝叶斯预测器。研究通过在合成数据集和真实数据集上的实验验证了该方法的有效性。

    Jan, 2024

  • 数据高效的互信息神经估计器

    本文提出了一种基于神经网络的数据效率更高的 Mutual Information 估计方法 DEMINE，通过放松预测 MI 下限来提高数据效率，并采用任务扩充方法 Meta-DEMINE 进一步优化其推广性和估计准确性，可用于实际数据集大小的统计依赖性检测。

    May, 2019

  • 用于对比表示学习的分解互信息估计

    提出分解估计互信息 (Decomposed Estimation of Mutual Information, DEMI) 方法，在视觉领域和对话生成方面获得更好的表示表现，该方法通过将视图分解为逐渐更具信息的子视图来估计 MI，同时应用 Chian 规则简化了 MI 的估计过程。

    Jun, 2021

  • 互信息的下界

    我们发现在 A. Kraskov 等人的文章中声称两个实值随机变量之间的互信息的下界存在错误，并提出了一种新的方法建立在较弱的假设下得到较紧的下界，并在基因表达数据中展示了这种方法的实用性。

    Aug, 2010

  • 利用退火和基于能量的上下界提高互信息估计

    本文提出了基于重要性采样的互信息估计方法，包括基于多样本退火重要性采样的全局互信息界限、基于广义 IWAE 的边际互信息界限和基于 MCMC 采样的更紧密的边际互信息界限。在深度生成模型中应用实验，取得了比现有界限更高的性能。

    Mar, 2023

  • 用于表征学习的互信息梯度估计

    通过得分估计隐式分布，我们提出了互信息梯度估计器（MIGE），用于基于 InfoMax 和信息瓶颈方法的无监督学习深层表示，并扩展了 MIGE 的应用。在高维和大 MI 设置下，MIGE 表现出紧密和平滑的 MI 梯度估计，并且实验结果表明了学习有效表示的显着性能提高。

    May, 2020

  • 利用伪造的图像标题进行多模态摘要

    本文从互信息优化的角度研究了负样本对视觉语言预训练中交叉模态对比学习的影响，并提出了一种渐进式改进的交叉模态相似度对比学习策略，在理论指导下实现了对 (部分) 假负例样本有益和有害效应的平衡，这种方法在四个下游交叉模态任务中表现良好。

    May, 2023

  • 深度学习可解释性的鲁棒互信息估计器

    本文提出了基于高斯混合模型的互信息估计算法 GMM-MI， 经验证其在深度学习模型的可解释性研究中表现良好，可用于评估自编码的潜在空间中变量的分离度和与物理量的相关性分布。

    Oct, 2022