本文提出 Information Bottleneck (IB) 方法用于表征学习。通过调整拉格朗日乘子 $eta$ 实现压缩和预测之间的平衡，同时为 IB-learnability 提供理论指导和适当的算法来估计最小 $eta$。作者通过分析合成数据集、MNIST 和 CIFAR-10 数据集来验证理论条件。
Jul, 2019
该研究提出了一种方法，通过神经网络来实现将任意分布的离散和 / 或连续变量进行信息瓶颈编码和解码，并允许使用非线性映射，该方法通过一种新颖非参数上界来实现最大信息提取，相较于其他方法在多个真实数据集上表现更好。
May, 2017
该研究利用 Information Bottleneck 原理和深度神经网络，采用互信息和压缩等技术，针对高维随机向量实现了对一般深度神经网络的信息瓶颈分析，并在一个近实际规模的卷积深度神经网络上揭示了互信息动态的新特征。
May, 2023
本文提出一种通用的拉格朗日算子族，允许在所有情况下探索 IB 曲线，并提供拉格朗日乘子与所需压缩率 r 之间的精确一对一映射，同时证明可以通过凸 IB 拉格朗日以及这些 Lagrangian 对于已知和未知的 IB 曲线形状进行逼近以消除求解优化问题的负担。
Nov, 2019
本文从监督解缠角度实现信息瓶颈方法，引入 DisenIB，以最大压缩的方式坚持最大化压缩源，而不会损失目标预测性能。理论和实验结果表明，我们的方法在最大压缩方面是一致的，并在泛化、对抗攻击鲁棒性、超出分布检测和监督解缠等方面表现良好。
Dec, 2020
该研究使用信息瓶颈模型探究深度神经网络最终层激活几何学的神经崩溃现象，发现神经崩溃导致良好的泛化，且与对比学习中的最优特征有直接对应关系。
本文研究信息瓶颈（IB）在有监督学习中的应用，提出了一个新的函数来解决 IB 曲线无法被最大化 IB Lagrangian 找到的问题。文章展示了本文提出的三个严重的警告，并在 MNIST 数据集上进行了演示。
Aug, 2018
通过研究使用信息瓶颈功能最小化来训练深度神经网络进行分类的理论论文，我们发现这种优化问题存在严重问题，方法包括使用随机神经网络、更加稳定的代价函数和设计直接实现所需属性的潜在表示的正则化项。
Feb, 2018
通过对参数的演化，我们全面分析了深度神经网络的学习动态，发现存在三个阶段：接近恒定的重建损失、下降和上升。我们还通过经验实证建立了数据模型，并对单层神经网络证明了阶段的存在。我们的工作为迁移学习提供了新的最佳实践：通过实验证明预训练的分类器在性能达到最优之前应该停止。
Dec, 2023
本文提出了一种基于认知信息瓶颈 (Recognizable Information Bottleneck, 简称 RIB) 的方法，旨在通过一种可优化的可识别性批评家，通过 Bregman 散度进行密度比匹配来规范表征的可识别性，从而优化模型并估计其泛化差距。
Apr, 2023