该研究提出了一种方法，通过神经网络来实现将任意分布的离散和 / 或连续变量进行信息瓶颈编码和解码，并允许使用非线性映射，该方法通过一种新颖非参数上界来实现最大信息提取，相较于其他方法在多个真实数据集上表现更好。
May, 2017
本文研究信息瓶颈（IB）在有监督学习中的应用，提出了一个新的函数来解决 IB 曲线无法被最大化 IB Lagrangian 找到的问题。文章展示了本文提出的三个严重的警告，并在 MNIST 数据集上进行了演示。
Aug, 2018
本文介绍一种替代信息瓶颈方法（IB）的确定性信息瓶颈（DIB），使用熵来度量压缩，得到硬聚类的解决方案，与 IB 相比，DIB 在 DIB 成本函数上明显优于 IB，并在收敛参数范围内提供计算效率的大幅提升。
Apr, 2016
本文从监督解缠角度实现信息瓶颈方法，引入 DisenIB，以最大压缩的方式坚持最大化压缩源，而不会损失目标预测性能。理论和实验结果表明，我们的方法在最大压缩方面是一致的，并在泛化、对抗攻击鲁棒性、超出分布检测和监督解缠等方面表现良好。
Dec, 2020
本文提出一种通用的拉格朗日算子族，允许在所有情况下探索 IB 曲线，并提供拉格朗日乘子与所需压缩率 r 之间的精确一对一映射，同时证明可以通过凸 IB 拉格朗日以及这些 Lagrangian 对于已知和未知的 IB 曲线形状进行逼近以消除求解优化问题的负担。
Nov, 2019
信息瓶颈是一种信息论表示学习原理，旨在学习一个最大压缩的表示，以尽可能保留关于标签的信息。本文研究了信息瓶颈和确定性信息瓶颈在迁移学习情景中的泛化能力，并提出了一种弹性信息瓶颈方法，通过在信息瓶颈和确定性信息瓶颈正则化之间插值来平衡源泛化差距和表示不一致性，实验证明该方法在领域自适应方面表现更好。
Nov, 2023
该研究利用 Information Bottleneck 原理和深度神经网络，采用互信息和压缩等技术，针对高维随机向量实现了对一般深度神经网络的信息瓶颈分析，并在一个近实际规模的卷积深度神经网络上揭示了互信息动态的新特征。
May, 2023
该论文介绍了信息瓶颈理论作为一种信息理论范例来分析机器学习中使用深度学习等算法进行降维操作的有效性，并总结了其在深度学习理论中的重要性和实际算法的启示。
Apr, 2020
使用信息瓶颈（IB）原理分析深度神经网络（DNN）的信息流，并得到 DNN 的理论极限及有限样本泛化的上限，同时探讨了网络的优化模型，层数和特征 / 连接与信息瓶颈权衡中的分叉点的关系，其中对应了网络层级结构上的结构相变。
Mar, 2015
本文研究回归问题下的信息瓶颈原理，并通过利用柯西 - 斯瓦茨散度的优势属性，采用深度神经网络参数化信息瓶颈。通过这种方法，避免了基于均方误差的回归和变分推理的假设，研究了我们提出的柯西 - 斯瓦茨信息瓶颈模型的改进泛化能力，展示了其在六个实际回归任务中相对于其他热门深度信息瓶颈方法的优越性能。
Apr, 2024