变分玻璃限制下的信息瓶颈

Dec, 2019

Information bottleneck through variational glasses

Slava Voloshynovskiy, Mouad Kondah, Shideh Rezaeifar, Olga Taran, Taras Holotyak...

TL;DR本文基于信息瓶颈原理与变分分解构建了一般的框架结构，分析了现有深度生成模型（VAE，GAN 等）的基本假设与相互之间的联系，提出了新的相互信息分解方式，使得生成模型在压缩生成方面具备新的解释和洞见。

Abstract

Information bottleneck (IB) principle [1] has become an important element in information-theoretic analysis of deep models. Many state-of-the-art generative models of both Variational Autoencoder (VAE) [2; 3] and Generative Adversarial Networks (GAN) [4] families use various bounds on

information bottleneck principle deep models generative models mutual information terms variational decomposition

发现论文，激发创造

深度变分多元信息瓶颈 —— 变分损失的框架

通过信息论，我们提出了一个可以重新演绎和推广现有变分方法，并设计新方法的统一原则。我们的框架基于多变量信息瓶颈的解释，其中两个贝叶斯网络相互权衡。我们将第一个网络解释为编码器图，指定了在压缩数据时要保留哪些信息；我们将第二个网络解释为解码器图，为数据指定了生成模型。利用这个框架，我们重新演绎了现有的降维方法，如深度变分信息瓶颈 (DVIB)，Beta 变分自动编码器 (beta-VAE) 和深度变分规范相关分析 (DVCCA)。该框架在 DVCCA 算法族中自然引入了一个压缩和重建之间的权衡参数，从而产生了新的 Beta-DVCCA 算法族。此外，我们推导出了一种新的变分降维方法，深度变分对称信息瓶颈 (DVSIB)，它可以同时压缩两个变量以保留它们压缩表示之间的信息。我们实现了所有这些算法，并在经过修改的噪声 MNIST 数据集上评估它们产生共享低维潜空间的能力。我们展示了与数据结构更匹配的算法 (Beta-DVCCA 和 DVSIB) 如何通过分类准确性和潜变量的维度来测量产生更好的潜空间。我们相信这个框架可以用来统一其他多视图表示学习算法，此外，它还为推导问题特定的损失函数提供了一个直观的框架。

Oct, 2023

确定性多视角聚类的可微信息瓶颈

通过拟合互信息的规范化核格拉姆矩阵，我们提出了一种新的可微信息瓶颈方法 (DIB)，通过确定性和解析的方式有效地进行多视角聚类，实现了输入变量从不同视角的确定性压缩。

Mar, 2024

深度学习中信息瓶颈的更严格界限

使用变分近似方法为信息瓶颈提供新的、更紧的下界，从而提高先前基于信息瓶颈的深度神经网络的性能，并显著增强分类深度神经网络的对抗鲁棒性。

Feb, 2024

可传递信息理论及其在深度生成模型中的应用

本文介绍了一种基于控制先验和层次结构的基于变分自编码器 (SemafoVAE) 来实现分离表示和生成高质量图像的方法。

Mar, 2022

深度变分信息瓶颈

本文提出 “Deep Variational Information Bottleneck” 方法，通过可变分近似来将信息瓶颈模型参数化，使用神经网络和重新参数化技巧进行高效训练。结果显示，使用 VIB 优化训练的模型在泛化性能和对抗攻击鲁棒性方面优于其他正则化方法。

Dec, 2016

灵活的变分信息瓶颈：通过单次训练实现多样压缩

本研究提出了一种创新的分类任务框架，称为 Flexible Variational Information Bottleneck (FVIB)，通过单一、高效的训练可以获取在所有 $eta$ 值上的最优模型，并且在校准性能方面优于其他信息瓶颈和校准方法。

Feb, 2024

深度神经网络的信息瓶颈分析通过有损压缩

该研究利用 Information Bottleneck 原理和深度神经网络，采用互信息和压缩等技术，针对高维随机向量实现了对一般深度神经网络的信息瓶颈分析，并在一个近实际规模的卷积深度神经网络上揭示了互信息动态的新特征。

May, 2023

无监督聚类的变分信息瓶颈：深度高斯混合嵌入

本文提出了一种无监督的生成性聚类框架，将变分信息瓶颈和高斯混合模型相结合。使用变分信息瓶颈方法将潜空间建模为高斯混合物，并导出了一个代价函数的界限，并提供了一种可计算它的变分推断类型算法。通过神经网络参数化编码器映射，并通过蒙特卡罗采样逼近边界，并用随机梯度下降进行优化。提供了真实数据集的数值结果，证明了我们方法的有效性。

May, 2019

非线性信息瓶颈

该研究提出了一种方法，通过神经网络来实现将任意分布的离散和 / 或连续变量进行信息瓶颈编码和解码，并允许使用非线性映射，该方法通过一种新颖非参数上界来实现最大信息提取，相较于其他方法在多个真实数据集上表现更好。

May, 2017

通过信息瓶颈约束提升对抗迁移性

基于信息瓶颈理论，我们提出了一种名为 IBTA 的黑盒可传递对抗攻击的新框架，利用不变特征的进展。通过在等效攻击性能约束下减少对原始数据的敌对扰动依赖性，鼓励更多地依赖对分类有最大贡献的不变特征，从而增强对抗攻击的传递性。通过重新定义基于 IB 的传递攻击的优化，我们克服了不可优化的互信息挑战，并提出了一种简单高效的互信息下界 (MILB) 来逼近计算。此外，为了定量评估互信息，我们利用互信息神经估计器 (MINE) 进行了全面分析。我们在 ImageNet 数据集上的实验充分证明了 IBTA 和导出的 MILB 的效率和可扩展性。

Jun, 2024