本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。

May, 2018

研究深度神经网络训练过程中信息流和内部表示的演化，旨在阐明信息瓶颈理论的压缩方面。通过引入辅助 DNN 框架并通过开发严格估算器观察不同模型的压缩现象，最终将隐藏表示的几何聚类确定为真正感兴趣的现象。

Oct, 2018

提出了一种在大型网络中估计信息关系的实用方法，可以可靠地估计互信息和多个信息项，并通过基因表达、金融市场和消费者偏好等领域的分析加以说明。

Feb, 2005

本文提出了一种度量深度神经网络在训练过程中因果结构的度量方法，即有效信息（EI），用于评估每个层的因果影响节点和边缘在其下游目标上的度量。通过分解 EI 以检查每个层的敏感性、退化性和整合信息量，可以在 “因果平面” 上可视化每个层次的连接方式如何随时间变得更加敏感或退化，以及集成如何在训练期间改变。结果有助于理解深度神经网络的泛化能力，并为使 DNN 具有更高的泛化性和可解释性提供基础工具。

Oct, 2020

使用信息瓶颈（IB）原理分析深度神经网络（DNN）的信息流，并得到 DNN 的理论极限及有限样本泛化的上限，同时探讨了网络的优化模型，层数和特征 / 连接与信息瓶颈权衡中的分叉点的关系，其中对应了网络层级结构上的结构相变。

Mar, 2015

本文提出了一种概率表示方法，用于准确估计深度神经网络的互信息，并利用估计器验证了信息理论对泛化的解释，得出了比现有方法更紧密的泛化界限。

Jun, 2021

该研究提出了一种新的系统框架，用于可视化深度网络中的信息流，通过在给定的测试图像中生成与给定解释有关的紧凑支持，该方法具有计算效率和数值稳健性，并提供了几个初步的数值结果，支持我们的框架优于现有方法的好处。

Nov, 2017

本文用互信息作为代替条件熵来训练深度神经网络分类器，并且在多个基准数据集上进行了实验证明，相对于现有交叉熵损失函数训练的模型，提出的互信息模型 (MILCs) 性能更好，总体测试准确率提升超过 10%。

Oct, 2022

通过测量深度神经网络中的信息与激活之间的有效信息，建立了信息复杂度与推广和不变性之间的新关系，并表明低信息复杂度的模型不仅能更好地推广，而且会学习到未来输入的不变表示。

May, 2019

本研究通过信息平面可视化深度神经网络，发现在标准深度学习中，大部分训练周期都用于对输入进行压缩以生成有效表示，而非适应标签，当训练误差变小并且随机梯度下降下降进入随机扩散阶段时，表征压缩阶段开始。隐藏层的加入可以极大的缩短训练时间。

Mar, 2017