自我监督学习在无标签数据中获取有意义的表示方面发挥了关键作用。在信息论框架内开发自我监督模型，我们提出以随机嵌入方式显式建模表示，并评估其对性能、信息压缩和超出分布检测的影响。研究结果表明，在表示和损失空间中，限制一个空间可能会影响另一个空间，从而导致性能下降。此外，我们的发现表明，在损失空间引入额外的瓶颈可以显著增强检测超出分布示例的能力，只利用表示特征或其潜在分布的方差。

Oct, 2023

自我监督的机器学习方法通过模拟增强构建了大规模数据集的代表性摘要，用于精确和准确的参数推断以及对宇宙学数据的压缩与分析。

Aug, 2023

本研究旨在比较和统一先前提出的信息瓶颈原则中的多个竞争目标，并开发更友好的替代目标，以便将信息瓶颈应用于现代深度神经网络结构，无需依赖于像密度估计这样的繁琐工具。研究结果可以在现代 DNN 结构（ResNets）上展示。

Mar, 2020

本文旨在测试信息瓶颈原理是否适用于更现实的场景，通过训练 ResNet 模型以衡量其隐藏层和输入图像数据之间的互信息，发现该原理适用于分类和自编码的两种训练模式，并且即使对于自编码器，也会发生压缩。通过通过观察隐藏层激活条件下的样本图像，提供了一种直观的视觉化方法来理解 ResNet 学习到的内容。

Mar, 2020

本文提出了一种新颖的信息论方法，以改善基于半监督学习的转移学习中深度神经网络的传递性，特别是在源数据集和目标数据集之间存在分歧的情况下，通过引入 Mutual Information 和 Lautum Information 来 应用于目标数据集的正则化项

Jun, 2023

研究深度神经网络训练过程中信息流和内部表示的演化，旨在阐明信息瓶颈理论的压缩方面。通过引入辅助 DNN 框架并通过开发严格估算器观察不同模型的压缩现象，最终将隐藏表示的几何聚类确定为真正感兴趣的现象。

Oct, 2018

本研究展示了教师 - 学生模型压缩的有效性，通过将已经学习的大型深度自监督模型压缩到较小的模型，使得学生模型具有和教师模型相似的数据点嵌入空间，最终在 ImageNet 分类任务上获得了比监督学习方法更优秀的结果。

Oct, 2020

本文通过矩阵信息理论的视角提供了一个全面的工具箱，用于理解和增强自监督学习方法，其中包括对比方法、特征去相关方法的统一分析，并提出了基于矩阵信息理论的矩阵变分掩膜自编码器 (M-MAE) 方法作为对掩膜图像建模的一种增强方法。经验证实，M-MAE 相对于最先进方法，在 ImageNet 上线性探测 ViT-Base 性能提升了 3.9%，微调 ViT-Large 性能提升了 1%。

Sep, 2023

此研究探讨神经网络采用信息瓶颈理论通过压缩神经网络表示来提高泛化性能。研究结果表明，激活函数的饱和状态并非压缩的必要条件。但是 L2 正则化可以显著增加压缩，同时防止过拟合。在多次正则化后，只有最后一层的压缩与泛化性能呈正相关关系。

Feb, 2019

本文提出了一种新颖的信息论框架，用其自己的遗憾和样本复杂度分析机器学习的数据需求，并用该框架研究了由具有 ReLU 激活单元的深度神经网络生成的数据的样本复杂度，并在权重的特定先验分布下建立了同时独立于宽度和线性深度的样本复杂度界限。

Mar, 2022