灵活的变分信息瓶颈：通过单次训练实现多样压缩
通过信息论，我们提出了一个可以重新演绎和推广现有变分方法，并设计新方法的统一原则。我们的框架基于多变量信息瓶颈的解释，其中两个贝叶斯网络相互权衡。我们将第一个网络解释为编码器图，指定了在压缩数据时要保留哪些信息；我们将第二个网络解释为解码器图，为数据指定了生成模型。利用这个框架，我们重新演绎了现有的降维方法，如深度变分信息瓶颈 (DVIB)，Beta 变分自动编码器 (beta-VAE) 和深度变分规范相关分析 (DVCCA)。该框架在 DVCCA 算法族中自然引入了一个压缩和重建之间的权衡参数，从而产生了新的 Beta-DVCCA 算法族。此外，我们推导出了一种新的变分降维方法，深度变分对称信息瓶颈 (DVSIB)，它可以同时压缩两个变量以保留它们压缩表示之间的信息。我们实现了所有这些算法，并在经过修改的噪声 MNIST 数据集上评估它们产生共享低维潜空间的能力。我们展示了与数据结构更匹配的算法 (Beta-DVCCA 和 DVSIB) 如何通过分类准确性和潜变量的维度来测量产生更好的潜空间。我们相信这个框架可以用来统一其他多视图表示学习算法，此外，它还为推导问题特定的损失函数提供了一个直观的框架。
Oct, 2023
本文提出 “Deep Variational Information Bottleneck” 方法，通过可变分近似来将信息瓶颈模型参数化，使用神经网络和重新参数化技巧进行高效训练。结果显示，使用 VIB 优化训练的模型在泛化性能和对抗攻击鲁棒性方面优于其他正则化方法。
Dec, 2016
该研究提出了一种方法，通过神经网络来实现将任意分布的离散和 / 或连续变量进行信息瓶颈编码和解码，并允许使用非线性映射，该方法通过一种新颖非参数上界来实现最大信息提取，相较于其他方法在多个真实数据集上表现更好。
May, 2017
通过拟合互信息的规范化核格拉姆矩阵，我们提出了一种新的可微信息瓶颈方法 (DIB)，通过确定性和解析的方式有效地进行多视角聚类，实现了输入变量从不同视角的确定性压缩。
Mar, 2024
通过简单的案例研究，我们展示了变分信息瓶颈（VIB）不仅可以提高神经网络的分类校准能力，还可以改善其检测未知数据的能力，并提供了两个量化和处理不确定性的自然度量。
Jul, 2018
本文从监督解缠角度实现信息瓶颈方法，引入 DisenIB，以最大压缩的方式坚持最大化压缩源，而不会损失目标预测性能。理论和实验结果表明，我们的方法在最大压缩方面是一致的，并在泛化、对抗攻击鲁棒性、超出分布检测和监督解缠等方面表现良好。
Dec, 2020
本文提出一种通用的拉格朗日算子族，允许在所有情况下探索 IB 曲线，并提供拉格朗日乘子与所需压缩率 r 之间的精确一对一映射，同时证明可以通过凸 IB 拉格朗日以及这些 Lagrangian 对于已知和未知的 IB 曲线形状进行逼近以消除求解优化问题的负担。
Nov, 2019
本文提出使用变分信息瓶颈 (VIB) 来压制过拟合和提高低资源情景中的传输学习，并证明我们的方法成功地降低了过拟合，提高了泛化能力。我们的 VIB 模型发现的句子表示更加鲁棒且能够在自然语言推断数据集中更好地泛化到领域外数据集，实验结果表明我们的方法显著提高了传输学习，并在 13 个领域外自然语言推断基准测试中提高了泛化能力。
Jun, 2021
本研究提出了一种使用信息瓶颈机制的卷积神经网络 —— 细胞变分信息瓶颈网络（cellVIB），它可以与最新的前馈网络结构相结合，在端到端训练方法中使用。我们的细胞变分信息瓶颈网络通过堆叠 VIB 细胞来构建，可以生成具有不确定性的特征映射。以 MNIST 数据集为例，对每个 VIB 细胞进行广泛分析以验证其有效性，并对 VIB 细胞如何影响互信息进行深入分析。在 CIFAR-10 上进行的实验也证明了我们的 cellVIB 对训练过程中的噪声标签和测试中的损坏图像具有鲁棒性。然后，我们在 PACS 数据集上验证了我们的方法，结果表明 VIB 细胞可以显著提高基本模型的泛化性能。最后，在更复杂的表示学习任务 —— 人脸识别中，我们的网络结构也取得了非常有竞争力的结果。
Mar, 2024