通过信息论，我们提出了一个可以重新演绎和推广现有变分方法，并设计新方法的统一原则。我们的框架基于多变量信息瓶颈的解释，其中两个贝叶斯网络相互权衡。我们将第一个网络解释为编码器图，指定了在压缩数据时要保留哪些信息；我们将第二个网络解释为解码器图，为数据指定了生成模型。利用这个框架，我们重新演绎了现有的降维方法，如深度变分信息瓶颈 (DVIB)，Beta 变分自动编码器 (beta-VAE) 和深度变分规范相关分析 (DVCCA)。该框架在 DVCCA 算法族中自然引入了一个压缩和重建之间的权衡参数，从而产生了新的 Beta-DVCCA 算法族。此外，我们推导出了一种新的变分降维方法，深度变分对称信息瓶颈 (DVSIB)，它可以同时压缩两个变量以保留它们压缩表示之间的信息。我们实现了所有这些算法，并在经过修改的噪声 MNIST 数据集上评估它们产生共享低维潜空间的能力。我们展示了与数据结构更匹配的算法 (Beta-DVCCA 和 DVSIB) 如何通过分类准确性和潜变量的维度来测量产生更好的潜空间。我们相信这个框架可以用来统一其他多视图表示学习算法，此外，它还为推导问题特定的损失函数提供了一个直观的框架。

Oct, 2023

我们研究了一个变分自编码器模型（VAE）的变体，其中高斯混合作为先验分布，通过深生成模型实现无监督聚类，通过最小信息约束启发式，缓解了过度正则化问题，并在合成数据、MNIST 和 SVHN 上证明了模型的性能。

Nov, 2016

提出了一种无监督生成聚类方法 Variational Deep Embedding (VaDE)，使用高斯混合模型和神经网络来建模数据生成过程，并在 VaDE 中使用变分推断实现更好的聚类效果，并可生成高度逼真的样本，更广泛的混合模型也可以轻松集成。

Nov, 2016

本文提出 “Deep Variational Information Bottleneck” 方法，通过可变分近似来将信息瓶颈模型参数化，使用神经网络和重新参数化技巧进行高效训练。结果显示，使用 VIB 优化训练的模型在泛化性能和对抗攻击鲁棒性方面优于其他正则化方法。

Dec, 2016

通过与一个识别模型相结合，我们开发了一个可扩展的深度非参数生成模型。在利用多层感知器的变分框架下，我们重新参数化变分后验分布，并推导出一个可处理深度学习任务规模数据集的变分下界公式，证明了该方法在深度无监督学习和深度贝叶斯优化领域的有效性。

Nov, 2015

本文基于信息瓶颈原理与变分分解构建了一般的框架结构，分析了现有深度生成模型（VAE，GAN 等）的基本假设与相互之间的联系，提出了新的相互信息分解方式，使得生成模型在压缩生成方面具备新的解释和洞见。

Dec, 2019

本文提出了一种改进的联合学习框架，包括强鲁棒性嵌入判别器和局部结构约束，来改善 VaDE 聚类方法的两个问题。实验结果表明，我们的方法在各种基准数据集上表现优于现有模型，并且对抗输入具有极强的稳健性，可实际应用于实践。

Dec, 2020

通过拟合互信息的规范化核格拉姆矩阵，我们提出了一种新的可微信息瓶颈方法 (DIB)，通过确定性和解析的方式有效地进行多视角聚类，实现了输入变量从不同视角的确定性压缩。

Mar, 2024

该研究提出了一种名为 Variational Graph Information Bottleneck (VGIB) 的框架，用于识别图形中最具信息量的压缩子结构，VGIB 通过对图形施加噪声注入的方式，再通过过滤噪声来获得所需的子图，并在图解释、图神经网络的可解释性和图分类等方面进行了广泛实验。

Dec, 2021

本文提出了一种基于变分信息瓶颈的变分自编码器（VAE）改进方法，用于 Transformers 的嵌入空间优化，通过 Bayesian nonparametrics 方法获得非参数的变分信息瓶颈（NVIB）以规范注意机制支持的向量数量和向量中的信息量，为 Encoder-Decoder 模型引入 NVIB，提出了一种非参数化可变自编码器（NVAE），并在自然文本上证明了其有效性。

Jul, 2022