通过信息瓶颈进行链接预测的数据增强
本文研究标签增强问题，提出了一种新的标签信息瓶颈方法来从逻辑标签精确恢复标签分布。该方法通过挖掘关键的标签相关信息来提高恢复性能，并在多个基准标签分布学习数据集上进行实验来验证其有效性和竞争力。
Mar, 2023
基于信息理论的鲁棒图信息瓶颈原则 (RGIB) 通过提取可靠的监督信号并避免表示崩溃，解决了边缘噪声对图中拓扑和目标标签的影响，实现了对鲁棒表示的学习目标。实验证实了我们的 RGIB 实例在多个嘈杂场景中的有效性。
Nov, 2023
本论文提出了一种改进的深度信息瓶颈模型，通过应用 copula 变换解决了其短处，实现了特征的解耦和稀疏性，并在人工数据和真实数据上进行了评估。
Apr, 2018
检索增强生成结合了大语言模型的能力和从广泛语料库检索到的相关信息，但在面对现实世界的噪声数据时面临挑战。本文提出将信息瓶颈理论引入检索增强生成，通过同时最大化压缩和生成结果的互信息，最小化压缩和检索到的内容之间的互信息，实现对噪声的过滤。实验结果表明，我们的方法在各种问答数据集中取得显著的改进，不仅在答案生成的正确性方面，而且在 2.5% 的压缩率下的简洁性方面也有明显提升。
Jun, 2024
本文提出了基于信息瓶颈原理的多视角无监督学习方法，通过对同一实体的两个视角进行对比得出冗余信息，进而定义新的多视角模型，在 Sketchy 数据集和 MIR-Flickr 数据集的标签受限版本上取得了最先进的结果；此外还通过数据扩增技术将理论扩展至单视角情况，实验证明更具有良好的泛化能力。
Feb, 2020
针对人脸篡改技术的面部伪造检测方法，提出了一种用于增强不同表现形式下的一致性的学习框架（CORE），该框架基于卷积神经网络，通过正则化追求更一致的表示以进行更准确的伪造检测。
Jun, 2022
通过引入信息瓶颈理论的设计，结合相似桥接原理和互信息估计式的互动，提出了一种新型的子图信息瓶颈架构来识别预测压缩的子图，成功去除了图数据中的噪音和冗余，具有高效和稳定性，得到了较好的优化结果和理论边界。
Mar, 2021
为了利用有可能是嘈杂或缺失的边缘信息，我们提出了一种基于半监督信息瓶颈离散隐变量模型。我们使用辅助连续隐变量和轻量级分层结构重新参数化模型的离散变量，以最小化已观测数据和未被新辅助变量捕获的可选边缘知识之间的互信息，并在事件建模上进行经验研究，并与强实验结果协作我们的理论结果。
May, 2022
我们提出了一种名为 Drop-Bottleneck 的信息瓶颈方法，该方法可以离散地删除与目标变量无关的特征。Drop-Bottleneck 不仅具有简单易行的压缩目标，而且还提供确定性压缩表示，可用于需要一致表示的推理任务。此外，它可以同时学习特征提取器和考虑到目标任务与每个特征维度之间关系的特征选择，这是大多数基于神经网络的 IB 方法所无法达到的。我们提出了一种基于 Drop-Bottleneck 的探索方法，适用于强化学习任务。在 VizDoom 和 DMLab 中的众多嘈杂和奖励稀疏的迷宫导航任务中，我们的探索方法实现了最先进的性能。作为一种新的 IB 框架，我们证明了 Drop-Bottleneck 在多个方面包括对抗鲁棒性和降维方面均优于 Variational Information Bottleneck（VIB）（Alemi 等人，2017）。
Mar, 2021