该研究提出了一种方法，通过神经网络来实现将任意分布的离散和/或连续变量进行信息瓶颈编码和解码，并允许使用非线性映射，该方法通过一种新颖非参数上界来实现最大信息提取，相较于其他方法在多个真实数据集上表现更好。

May, 2017

本文从信息论的角度出发，提出了一种理论和系统性的方法，详细介绍了深度学习中数据的流动和自编码器的设计，探究了互信息在描述数据学习上的重要性，并针对均方误差的训练提出了三个基本特性，这对自编码器的最优设计、替代前馈训练方法的设计、以及泛化问题有直接的影响。

Mar, 2018

研究深度神经网络训练过程中信息流和内部表示的演化，旨在阐明信息瓶颈理论的压缩方面。通过引入辅助DNN框架并通过开发严格估算器观察不同模型的压缩现象，最终将隐藏表示的几何聚类确定为真正感兴趣的现象。

Oct, 2018

本文介绍了一种新型神经编码器和解码器TurboAE，该编码器可以通过深度学习来自动化设计通道编码，以提高非规范通道模型的可靠性，并在中等块长度下接近规范通道模型的最新性能水平。

Nov, 2019

提出了一种有效的算法来近似存储在权重中的信息（IIW）并基于此构建了一种基于准确性和信息复杂度之间的权衡的IIW信息瓶颈（PIB），从中可以在NN培训期间经验性地确定压缩相变的适应性和IIW压缩与泛化之间的具体联系。此外，还提出了一种基于MCMC的算法，用于从PIB表征的最优权重后验中进行采样，从而实现了IIW在增强NN方面的潜力。

Sep, 2021

本文综述了信息理论、自监督学习和深度神经网络三者交叉领域的最新研究进展，提出了自监督信息理论学习问题的统一框架，并讨论了信息论量的经验测量和估算方法。

Apr, 2023

该研究利用 Information Bottleneck 原理和深度神经网络，采用互信息和压缩等技术，针对高维随机向量实现了对一般深度神经网络的信息瓶颈分析，并在一个近实际规模的卷积深度神经网络上揭示了互信息动态的新特征。

May, 2023

本文提出了信息有序瓶颈（IOB）的概念，它是一种神经层，旨在将数据自适应地压缩为按可能性排序的潜变量，实现了接近最优的压缩，并能够以语义上有意义的方式对潜在信号进行有序。此外，我们介绍了一个有关使用IOBs估计全局内在维数的新颖理论，并通过在异构数据集上的应用，展示了这些模型在探索性分析方面的实用性，使得计算机辅助数据集复杂性发现成为可能。

May, 2023

本文提出一种有效的、无需梯度加权的物理知识神经网络（PINNs）加速收敛的机制，并通过研究权重的演化来解释它与信息瓶颈理论的关系，我们的方法在典型的基准案例中一致实现了相对$L^{2}$误差为$10^{-5}$，这种新颖的关联可能为理解PINNs和神经算子的训练和稳定性奠定基础。

Jul, 2023

我们从信息论的角度提出了有关编码器-解码器设计在机器学习中发挥作用的新结果，使用信息充分性和互信息损失来表示机器学习中的预测结构，并使用香农的信息度量为表示学习提供了新的解释。

May, 2024