- 灵活的变分信息瓶颈：通过单次训练实现多样压缩
本研究提出了一种创新的分类任务框架，称为 Flexible Variational Information Bottleneck (FVIB)，通过单一、高效的训练可以获取在所有 $eta$ 值上的最优模型，并且在校准性能方面优于其他信息 - 随机动力系统模型简化的信息论
基于信息瓶颈的方法能够明确地识别与预测未来相关性最高的变量，为模型简化提供了基础，并可通过解析关系构建可解释的深度学习工具。在天气系统和卫星电影领域验证了该方法的有效性。
- EMNLP通过信息瓶颈原理进行文本表示精简
为了使模型更加易用，我们提出了一种基于信息瓶颈的知识蒸馏方法 IBKD，通过最大化教师模型和学生模型的最终表示之间的互信息，并减少学生模型表示和输入数据之间的互信息，以保留重要的学习信息并避免过拟合的风险，从而有效地在文本表示和下游任务中应 - 通过信息瓶颈对混沌动力系统进行优化测量
确定性混沌和完美测量之间存在等价关系，可利用机器学习来优化从轨迹数据中高效提取信息的测量过程。
- 弹性信息瓶颈
信息瓶颈是一种信息论表示学习原理，旨在学习一个最大压缩的表示，以尽可能保留关于标签的信息。本文研究了信息瓶颈和确定性信息瓶颈在迁移学习情景中的泛化能力，并提出了一种弹性信息瓶颈方法，通过在信息瓶颈和确定性信息瓶颈正则化之间插值来平衡源泛化差 - 自监督学习中概率嵌入潜力揭示
自我监督学习在无标签数据中获取有意义的表示方面发挥了关键作用。在信息论框架内开发自我监督模型，我们提出以随机嵌入方式显式建模表示，并评估其对性能、信息压缩和超出分布检测的影响。研究结果表明，在表示和损失空间中，限制一个空间可能会影响另一个空 - EMNLP信息论视角下缓解连续文本分类中的灾难性遗忘
持续学习在避免旧任务遗忘的同时，旨在不断学习新知识。本研究侧重于类增量设置下的文本分类，在探索持续学习的表示学习过程中，发现信息瓶颈的压缩效应导致了对类似类别的混淆。为了使模型学习到更充足的表示，我们提出了一种新颖的基于重放的持续文本分类方 - ICML特征聚合的互信息折衷方法在人脸识别中的应用
本文提出一种利用两种最新的深度人脸识别模型 ArcFace 和 AdaFace 的输出进行聚合的技术，通过利用 Transformer 注意机制来改善人脸识别系统的总体区分能力，并通过引入信息瓶颈原理来确保聚合特征保留最相关和区分能力最强的 - ICCV三维物体检测中的表示差异感知蒸馏
本文提出了一种新颖的表示差异感知蒸馏（RDD）方法，通过从信息瓶颈的创新角度构建我们的 RDD，该方法可以有效地减小学生和教师之间在特征和逻辑上的提议区域对的差异，从而解决了表示差异问题，并减小了紧凑学生和过参数化教师之间的性能差距。
- 个体和结构图信息瓶颈与超出分布泛化
本文提出了一种名为 IS-GIB 的统一框架，旨在处理在图模型应用中常见的 OutOfDistribution 和类间关系问题。通过 Individual Graph Information Bottleneck（I-GIB）和 Struc - 信息瓶颈普通微分方程：一阶根跟踪用于 IB
本研究提出了一种数值算法来解决信息瓶颈问题，该算法通过理解信息编码动态和 bifurcation 类型的变化，沿着最优曲线追踪解决方案的轨迹。
- 图信息瓶颈的统一框架：鲁棒性和成员隐私
本文提出一种新的图信息瓶颈框架，该框架可以通过邻域瓶颈减轻结构噪声，并在优化中加入伪标签以实现对成员隐私的保护，在真实世界数据集上进行了广泛的实验，证明了我们的方法可以提供强大的预测并同时保持成员隐私。
- ICML信息瓶颈如何帮助深度学习？
本文提出了深度学习中信息瓶颈的学习理论模型，证明控制信息瓶颈是控制深度学习泛化误差的一种方式，并通过一系列实验展示了信息瓶颈程度与泛化误差的相关性。
- 基于信息瓶颈方法探究有监督对比学习中的神经网络崩溃
该研究使用信息瓶颈模型探究深度神经网络最终层激活几何学的神经崩溃现象，发现神经崩溃导致良好的泛化，且与对比学习中的最优特征有直接对应关系。
- 迭代学习与交流共同解释了高效的颜色命名系统
本文研究语义系统的效率问题，使用基于信息瓶颈原理的文化演化模型，结合迭代学习和通信，实现了神经网络计算颜色命名系统，结果表明这种模型是高效的，且与人类颜色命名系统相似。同时还发现，仅靠迭代学习或仅靠通信无法实现相同的效果。
- 深度神经网络的信息瓶颈分析通过有损压缩
该研究利用 Information Bottleneck 原理和深度神经网络，采用互信息和压缩等技术，针对高维随机向量实现了对一般深度神经网络的信息瓶颈分析，并在一个近实际规模的卷积深度神经网络上揭示了互信息动态的新特征。
- 基于多轮对话上下文的领域外意图检测
本文提出一种上下文感知的 out-of-domain 意图检测（Caro）框架来模拟多轮对话中的上下文，采用信息瓶颈原理从多轮对话上下文中提取鲁棒特征，并通过多视图信息瓶颈损失去除与意图检测无关的冗余信息，在 Caro 中探索了利用未标记的 - 基于变分信息瓶颈的多模态实体与关系抽取增强
文章研究了多模态命名实体识别和多模态关系提取的方法，并提出了一种基于信息瓶颈的多模态表示学习方法，该方法在三个公共基准测试上取得了最先进的性能。
- 具有信息瓶颈递减的变分自编码器用于解缠
提出了一种新颖的降维自编码器 DeVAE，可以在不同层次优化多个目标，通过逐步减少信息瓶颈来平衡解缠结和重构保真度，从而解决解缠结学习中信息扩散问题，并且可以在高维潜空间中获得良好的平衡。
- 应用变分信息瓶颈和对比学习减少情感分析中的伪相关性
本文提出了一个名为 CVIB 的新型对比变分信息瓶颈框架，用于减少深度模型在输入特征和输出标签之间的虚假关联问题，并通过在原始网络和自剪枝网络之间使用对比学习来同时优化这两个网络。实验表明，该方法在整体预测性能、鲁棒性和泛化性等方面均优于强