基于变分 $f$- 散度和错排的判别式互信息估计

May, 2023

基于变分 $f$- 散度和错排的判别式互信息估计

Variational $f$-Divergence and Derangements for Discriminative Mutual Information Estimation

Nunzio A. Letizia, Nicola Novello, Andrea M. Tonello

TL;DR本文提出了一种新颖的基于 $f$-divergence 变分表示的识别互信息估计器，并在基准情景下进行的实验表明，该方法在准确性和复杂性方面优于现有的神经估计器。

Abstract

The accurate estimation of the mutual information is a crucial task in various applications, including machine learning, communications, and biology, since it enables the understanding of complex systems. High-dimensional data render the task extremely challenging due to the amount of

mutual information neural estimators variational representation bias/variance trade-off state-of-the-art

发现论文，激发创造

f - 散度估计的实用和一致性

本文研究了在结构假设条件下用样本估算概率分布之间 f-divergence 的问题，提出了一种易于实现、适用于高维数据且收敛速度更快的估算器，并在合成和真实数据实验中验证了其行为。

May, 2019

理解变分互信息估计器的局限性

论文提出并实现了一种新的基于神经网络的相互信息估计方法，该方法能够有效地减少方差并针对基准测试任务展现出更好的偏差 - 方差权衡性能。

Oct, 2019

通过限制概率测度实现 f - 分歧的更紧凑变分表示

本文通过收紧文献中已使用的 f-divergences 变分表示方法，提出了更紧的表示方法。作为一个示例应用，我们使用更紧的表示法推导出一种基于两个独立同分布样本的通用的 f-divergence 估计器，并推导出该估计器的对偶程序，在实践中表现良好。我们还指出了该估计器与最大均值差异 (MMD) 之间的联系。

Jun, 2012

超越常规：互信息估计评估

本文构建了一个多样的分布族，展示了语言无关基准平台用于互信息估计器的实用性和局限性，并提出了适应问题困难度的适当估计器的选择指南及应用估计器时需要考虑的问题。

Jun, 2023

MINDE: 互信息神经扩散估计

通过基于 Girsanov 定理的新方法，我们提出了一种估计随机变量之间互信息（MI）的方法。我们的方法基于分数函数的扩散模型来估计两个密度之间的 Kullback Leibler 散度，并衍生出估计随机变量熵的方法。我们的结果表明，我们的方法在挑战性分布情况下比文献中的主要替代方法更准确，并通过自洽性测试，包括数据处理和独立性下的可加性。

Oct, 2023

互信息的变分上下界

本文提供了通用的、数据无关的 Mutual Information 估计方法，其中包括新的下限估计器。通过实验测试我们的方法在高维问题中具有强大的表现，特别是在变量之间存在非线性关系时。

May, 2019

混合互信息估计的有效性

本研究提出了一种结合判别性和生成性方法的变分界的估算方法，我们进一步提出了一种名为 PQ 的简单生成方法，可以与判别性估计器轻松结合，可以在高维高斯分布和随机过程数据上实现更紧凑的互信息估计。

Jun, 2023

基于新离散度测量的可经验估计分类界限

本文研究了信息分裂函数在统计学和信息理论中的作用，并提出了一种新的非参数 f 分裂测量方法，可以用于改进最小二分法分类错误的上限，并设计了特征选择算法以验证理论上的结果。

Dec, 2014

内在动机强化学习的变分信息最大化

本文提供了一种新的通过合并变分推理和深度学习技术以扩展优化相互信息的方法，该方法可用于从像素到动作的可伸缩信息最大化和基于赋权的推理。

Sep, 2015

变分 f 散度最小化

该论文探讨了一种用于训练概率隐变量模型的变分方法，其中结合了最近引入的 Spread Divergence 方法，可以应用于使用任何 f-divergence 训练大量的潜变量模型。

Jul, 2019