该研究利用 Information Bottleneck 原理和深度神经网络，采用互信息和压缩等技术，针对高维随机向量实现了对一般深度神经网络的信息瓶颈分析，并在一个近实际规模的卷积深度神经网络上揭示了互信息动态的新特征。

May, 2023

通过拟合互信息的规范化核格拉姆矩阵，我们提出了一种新的可微信息瓶颈方法 (DIB)，通过确定性和解析的方式有效地进行多视角聚类，实现了输入变量从不同视角的确定性压缩。

Mar, 2024

使用变分近似方法为信息瓶颈提供新的、更紧的下界，从而提高先前基于信息瓶颈的深度神经网络的性能，并显著增强分类深度神经网络的对抗鲁棒性。

Feb, 2024

本文从监督解缠角度实现信息瓶颈方法，引入 DisenIB，以最大压缩的方式坚持最大化压缩源，而不会损失目标预测性能。理论和实验结果表明，我们的方法在最大压缩方面是一致的，并在泛化、对抗攻击鲁棒性、超出分布检测和监督解缠等方面表现良好。

Dec, 2020

本文研究信息瓶颈（IB）在有监督学习中的应用，提出了一个新的函数来解决 IB 曲线无法被最大化 IB Lagrangian 找到的问题。文章展示了本文提出的三个严重的警告，并在 MNIST 数据集上进行了演示。

Aug, 2018

本文提出一种通用的拉格朗日算子族，允许在所有情况下探索 IB 曲线，并提供拉格朗日乘子与所需压缩率 r 之间的精确一对一映射，同时证明可以通过凸 IB 拉格朗日以及这些 Lagrangian 对于已知和未知的 IB 曲线形状进行逼近以消除求解优化问题的负担。

Nov, 2019

本文提出了一种新的不变信息瓶颈（IIB）的域泛化方法，它采用互信息的变分形式来为非线性分类器开发可处理的损失函数，以实现最小化不变风险和减轻伪不变特征和几何偏移对模型的影响。在合成数据集上，IIB 可以显著优于 IRM（不变风险最小化），并且在实际数据集上平均优于 13 个基线方法 0.9％。

Jun, 2021

本文将因果推断应用于信息瓶颈方法中，通过仪器变量对特征进行分离，以减轻因虚假相关性导致的限制，提高对抗鲁棒性。大量实验结果表明，该方法在 MNIST、FashionMNIST 和 CIFAR-10 数据集中有明显的对抗攻击鲁棒性。

Oct, 2022

该研究提出了一种方法，通过神经网络来实现将任意分布的离散和 / 或连续变量进行信息瓶颈编码和解码，并允许使用非线性映射，该方法通过一种新颖非参数上界来实现最大信息提取，相较于其他方法在多个真实数据集上表现更好。

May, 2017

信息瓶颈是一种信息论表示学习原理，旨在学习一个最大压缩的表示，以尽可能保留关于标签的信息。本文研究了信息瓶颈和确定性信息瓶颈在迁移学习情景中的泛化能力，并提出了一种弹性信息瓶颈方法，通过在信息瓶颈和确定性信息瓶颈正则化之间插值来平衡源泛化差距和表示不一致性，实验证明该方法在领域自适应方面表现更好。

Nov, 2023