本文提出了基于信息瓶颈原理的多视角无监督学习方法，通过对同一实体的两个视角进行对比得出冗余信息，进而定义新的多视角模型，在 Sketchy 数据集和 MIR-Flickr 数据集的标签受限版本上取得了最先进的结果；此外还通过数据扩增技术将理论扩展至单视角情况，实验证明更具有良好的泛化能力。

Feb, 2020

本文从监督解缠角度实现信息瓶颈方法，引入 DisenIB，以最大压缩的方式坚持最大化压缩源，而不会损失目标预测性能。理论和实验结果表明，我们的方法在最大压缩方面是一致的，并在泛化、对抗攻击鲁棒性、超出分布检测和监督解缠等方面表现良好。

Dec, 2020

信息瓶颈是一种信息论表示学习原理，旨在学习一个最大压缩的表示，以尽可能保留关于标签的信息。本文研究了信息瓶颈和确定性信息瓶颈在迁移学习情景中的泛化能力，并提出了一种弹性信息瓶颈方法，通过在信息瓶颈和确定性信息瓶颈正则化之间插值来平衡源泛化差距和表示不一致性，实验证明该方法在领域自适应方面表现更好。

Nov, 2023

通过数据增强方法 COmplete and REduce (CORE)，修复图中的缺失边同时去除噪音，提高模型的鲁棒性和性能，成为图表示学习中强大的鲁棒链路预测方法。

Apr, 2024

检索增强生成结合了大语言模型的能力和从广泛语料库检索到的相关信息，但在面对现实世界的噪声数据时面临挑战。本文提出将信息瓶颈理论引入检索增强生成，通过同时最大化压缩和生成结果的互信息，最小化压缩和检索到的内容之间的互信息，实现对噪声的过滤。实验结果表明，我们的方法在各种问答数据集中取得显著的改进，不仅在答案生成的正确性方面，而且在 2.5% 的压缩率下的简洁性方面也有明显提升。

Jun, 2024

提出了一种用于在监督学习中提取特征的新策略，该方法在信息瓶颈的基础上引入了一个额外的惩罚项来鼓励提取的特征的 Fisher 信息在参数化输入时变小，从而实现分类器的更好鲁棒性。

Oct, 2019

我们提出了评估模型质量的最小必要信息 (MNI) 准则，训练与该准则相对应的新的目标函数 Conditional Entropy Bottleneck (CEB) 模型以及比较该模型与确定性模型和变分信息瓶颈 (VIB) 模型表现的实验结果支持了我们关于机器学习中鲁棒泛化失败的假设。

Feb, 2020

本文提出了图信息瓶颈（GIB）框架，解决了深度图学习中子图识别问题，并在三种应用场景下评估 IB 子图的性能。

Oct, 2020

我们提出了一种名为 Drop-Bottleneck 的信息瓶颈方法，该方法可以离散地删除与目标变量无关的特征。Drop-Bottleneck 不仅具有简单易行的压缩目标，而且还提供确定性压缩表示，可用于需要一致表示的推理任务。此外，它可以同时学习特征提取器和考虑到目标任务与每个特征维度之间关系的特征选择，这是大多数基于神经网络的 IB 方法所无法达到的。我们提出了一种基于 Drop-Bottleneck 的探索方法，适用于强化学习任务。在 VizDoom 和 DMLab 中的众多嘈杂和奖励稀疏的迷宫导航任务中，我们的探索方法实现了最先进的性能。作为一种新的 IB 框架，我们证明了 Drop-Bottleneck 在多个方面包括对抗鲁棒性和降维方面均优于 Variational Information Bottleneck（VIB）（Alemi 等人，2017）。

Mar, 2021

本文提出了一种基于信息瓶颈原理的半监督学习方法，用于学习图像注意力掩模。该方法使用标记的图像生成掩模，并最大化被掩蔽图像与图像标签之间的互信息，同时最小化输入和被掩蔽图像之间的互信息，所得到的注意力蒙版为布尔值类型。在 MNIST，CIFAR10 和 SVHN 等数据集上的实验结果表明，我们的方法可以成功地将注意力集中在定义图像类别的特征上。

Jul, 2019