使用信息瓶颈（IB）原理分析深度神经网络（DNN）的信息流，并得到 DNN 的理论极限及有限样本泛化的上限，同时探讨了网络的优化模型，层数和特征 / 连接与信息瓶颈权衡中的分叉点的关系，其中对应了网络层级结构上的结构相变。

Mar, 2015

通过研究使用信息瓶颈功能最小化来训练深度神经网络进行分类的理论论文，我们发现这种优化问题存在严重问题，方法包括使用随机神经网络、更加稳定的代价函数和设计直接实现所需属性的潜在表示的正则化项。

Feb, 2018

该研究利用 Information Bottleneck 原理和深度神经网络，采用互信息和压缩等技术，针对高维随机向量实现了对一般深度神经网络的信息瓶颈分析，并在一个近实际规模的卷积深度神经网络上揭示了互信息动态的新特征。

May, 2023

本研究通过信息平面可视化深度神经网络，发现在标准深度学习中，大部分训练周期都用于对输入进行压缩以生成有效表示，而非适应标签，当训练误差变小并且随机梯度下降下降进入随机扩散阶段时，表征压缩阶段开始。隐藏层的加入可以极大的缩短训练时间。

Mar, 2017

本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构 BinaryDenseNet，并在 ImageNet 数据集上获得 18.6% 和 7.6% 的精度改进。

Jun, 2019

本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU 核函数，使得 MNIST BNN 可以比优化前快 7 倍，而不影响分类准确性。

Feb, 2016

本文全面评述了二值神经网络（BNN）的发展历程，从祖先算法到最新算法 / 技术，提出了一种广泛的设计流程，并讨论了每个模块的变体。此外，还介绍了 BNN 的应用，以及其潜在的发展方向和未来研究机会。

Oct, 2021

该论文研究了如何通过修剪神经元、信息瓶颈和稀疏正则化等方式来压缩神经网络模型，提高模型的精度和运行效率。在多个数据集和网络架构中展示了最先进的压缩率。

Feb, 2018

该研究使用信息瓶颈模型探究深度神经网络最终层激活几何学的神经崩溃现象，发现神经崩溃导致良好的泛化，且与对比学习中的最优特征有直接对应关系。

May, 2023

本文旨在测试信息瓶颈原理是否适用于更现实的场景，通过训练 ResNet 模型以衡量其隐藏层和输入图像数据之间的互信息，发现该原理适用于分类和自编码的两种训练模式，并且即使对于自编码器，也会发生压缩。通过通过观察隐藏层激活条件下的样本图像，提供了一种直观的视觉化方法来理解 ResNet 学习到的内容。

Mar, 2020