研究提出了一种更高效的密度估计方法，从而解决了一些复杂的生成学习算法中难以估计模型质量的问题，并证明其提供了真实测试对数似然的下界和无偏估计，同时还提出了一种偏差估计的变体，可以在有限的样本数下可靠地用于模型比较。

Nov, 2013

本文基于信息瓶颈原理与变分分解构建了一般的框架结构，分析了现有深度生成模型（VAE，GAN 等）的基本假设与相互之间的联系，提出了新的相互信息分解方式，使得生成模型在压缩生成方面具备新的解释和洞见。

Dec, 2019

本文提出了基于高斯混合模型的互信息估计算法 GMM-MI， 经验证其在深度学习模型的可解释性研究中表现良好，可用于评估自编码的潜在空间中变量的分离度和与物理量的相关性分布。

Oct, 2022

本文提出了一种基于认知信息瓶颈 (Recognizable Information Bottleneck, 简称 RIB) 的方法，旨在通过一种可优化的可识别性批评家，通过 Bregman 散度进行密度比匹配来规范表征的可识别性，从而优化模型并估计其泛化差距。

Apr, 2023

本文讨论了深度非监督学习中最大化证据下限（ELBO）的训练方法，并推导了输入与潜变量之间互信息的下限和上限，进而通过率失真曲线描述了压缩和重构准确性之间的平衡，并提出了一个新的方法来避免强大的随机解码器忽略它们的潜变量。

Nov, 2017

我们发现在 A. Kraskov 等人的文章中声称两个实值随机变量之间的互信息的下界存在错误，并提出了一种新的方法建立在较弱的假设下得到较紧的下界，并在基因表达数据中展示了这种方法的实用性。

Aug, 2010

本文提出了一种无监督的生成性聚类框架，将变分信息瓶颈和高斯混合模型相结合。使用变分信息瓶颈方法将潜空间建模为高斯混合物，并导出了一个代价函数的界限，并提供了一种可计算它的变分推断类型算法。通过神经网络参数化编码器映射，并通过蒙特卡罗采样逼近边界，并用随机梯度下降进行优化。提供了真实数据集的数值结果，证明了我们方法的有效性。

May, 2019

对称信息瓶颈（SIB）是一种同时压缩两个随机变量以保留它们的信息的降维技术，我们引入了广义对称信息瓶颈（GSIB），通过探索不同成本函数的形式来研究这种同时降维的代价，同时我们还研究了这种同时压缩的数据集大小要求，结果表明相比于逐个压缩变量，同时压缩需要的数据量在典型情况下达到相同误差所需的数据量要少，因此我们认为这是一种更为通用的原则，即同时压缩比独立压缩输入变量更高效。

Sep, 2023

本论文提出了一种新的广义 ELBO（证据下界）公式，用于多模态数据的无监督生成模型，解决了现有方法中语义连贯性和能力之间的平衡问题，并在实验中展示了方法相对于现有技术的优势。

May, 2021

本文改进了 Pensia，Jog 和 Loh (2018) 开始的有噪声迭代学习算法的逐步分析，并在 Bu，Zou 和 Veeravalli (2019) 的基础上最近扩展。我们主要的贡献是通过数据相关估计显著提高了随机梯度 Langevin 动力学的互信息界限。我们的方法基于互信息的变分特性和使用基于训练样本子集的数据相关先验来预测小批量梯度。我们的方法在 Russo 和 Zou (2015)、Xu 和 Raginsky (2017) 的信息论框架内广泛适用。与其他依赖于梯度平方范数的边界相比，我们的边界项的数量级要小得多，同时可以与经验风险面的平坦度指标相关联。

Nov, 2019