混合互信息估计的有效性

Jun, 2023

On the Effectiveness of Hybrid Mutual Information Estimation

Marco Federici, David Ruhe, Patrick Forré

TL;DR本研究提出了一种结合判别性和生成性方法的变分界的估算方法，我们进一步提出了一种名为 PQ 的简单生成方法，可以与判别性估计器轻松结合，可以在高维高斯分布和随机过程数据上实现更紧凑的互信息估计。

Abstract

Estimating the mutual information from samples from a joint distribution is a challenging problem in both science and engineering. In this work, we realize a variational bound that generalizes both discriminative and generative approaches. Using this bound, we propose a hybrid method t

mutual information discriminative and generative approaches predictive quantization high-dimensional gaussian distributions stochastic processes

发现论文，激发创造

理解变分互信息估计器的局限性

论文提出并实现了一种新的基于神经网络的相互信息估计方法，该方法能够有效地减少方差并针对基准测试任务展现出更好的偏差 - 方差权衡性能。

Oct, 2019

互信息的变分上下界

本文提供了通用的、数据无关的 Mutual Information 估计方法，其中包括新的下限估计器。通过实验测试我们的方法在高维问题中具有强大的表现，特别是在变量之间存在非线性关系时。

May, 2019

离散连续混合模型的互信息估计

本文提出了一种新的，适用于离散 - 连续混合情况的相互信息估计器，并通过数值实验证明了该估计器的优越性。

Sep, 2017

利用退火和基于能量的上下界提高互信息估计