本文提出了基于信息瓶颈原理的多视角无监督学习方法，通过对同一实体的两个视角进行对比得出冗余信息，进而定义新的多视角模型，在 Sketchy 数据集和 MIR-Flickr 数据集的标签受限版本上取得了最先进的结果；此外还通过数据扩增技术将理论扩展至单视角情况，实验证明更具有良好的泛化能力。

Feb, 2020

本论文提出了一种改进的深度信息瓶颈模型，通过应用 copula 变换解决了其短处，实现了特征的解耦和稀疏性，并在人工数据和真实数据上进行了评估。

Apr, 2018

检索增强生成结合了大语言模型的能力和从广泛语料库检索到的相关信息，但在面对现实世界的噪声数据时面临挑战。本文提出将信息瓶颈理论引入检索增强生成，通过同时最大化压缩和生成结果的互信息，最小化压缩和检索到的内容之间的互信息，实现对噪声的过滤。实验结果表明，我们的方法在各种问答数据集中取得显著的改进，不仅在答案生成的正确性方面，而且在 2.5% 的压缩率下的简洁性方面也有明显提升。

Jun, 2024

该论文在事件建模和理解的背景下，提出了一种新的神经序列建模方法，该方法考虑了离散的、部分被观察到的外部知识序列。通过构建一个顺序神经变分自编码器，在精心定义的编码器中使用 Gumbel-Softmax 重参数化技术，允许半监督的外部离散知识在训练期间指导但不限制变分潜在参数。实验表明，该方法不仅优于多个基线和叙事脚本归纳的最新技术，而且收敛速度更快。

Oct, 2020

本研究提出了一种新颖的、具有层级结构的半监督事件建模框架，结合序列潜变量模型和本体知识，通过一系列的结构化潜变量层对语义知识进行制导，成功提高事件建模的表现，并在两个数据集上的四种不同评估指标上均优于先前现有的最佳方法。

Dec, 2022

在这篇论文中，我们介绍了一种将复杂系统映射到简化表示空间，并模拟时间大跳变化的推理过程。我们提出了基于信息理论的时间滞后信息瓶颈（T-IB）目标，旨在捕捉相关的时间特征，简化仿真任务并最小化推理错误。实验结果表明，T-IB 学习了信息最优的表示，能够准确地建模原始过程在选择的时间滞后下的统计属性和动力学，胜过现有的时间滞后降维方法。

Sep, 2023

本文提出了信息瓶颈方法的多元扩展的通用原则框架，利用贝叶斯网络来指定不同数据划分之间的关联，并展示了迭代算法的通用框架。

Jan, 2013

该研究提出了一种方法，通过神经网络来实现将任意分布的离散和 / 或连续变量进行信息瓶颈编码和解码，并允许使用非线性映射，该方法通过一种新颖非参数上界来实现最大信息提取，相较于其他方法在多个真实数据集上表现更好。

May, 2017

本文从监督解缠角度实现信息瓶颈方法，引入 DisenIB，以最大压缩的方式坚持最大化压缩源，而不会损失目标预测性能。理论和实验结果表明，我们的方法在最大压缩方面是一致的，并在泛化、对抗攻击鲁棒性、超出分布检测和监督解缠等方面表现良好。

Dec, 2020

提出了一种用于在监督学习中提取特征的新策略，该方法在信息瓶颈的基础上引入了一个额外的惩罚项来鼓励提取的特征的 Fisher 信息在参数化输入时变小，从而实现分类器的更好鲁棒性。

Oct, 2019