在这篇论文中，我们提出了一种基于信息瓶颈原理和不变风险最小化框架的新方法，旨在提取紧凑且信息丰富的特征，以具备对领域转移和语义转移具有强大泛化能力的同时，在传输过程中保持紧凑性。我们在图像分类任务上的大量模拟结果表明，该方案优于当前的最先进方法，并实现了更好的率失真权衡。

May, 2024

本文提出了一种名为 IS-GIB 的统一框架，旨在处理在图模型应用中常见的 OutOfDistribution 和类间关系问题。通过 Individual Graph Information Bottleneck（I-GIB）和 Structural Graph Information Bottleneck（S-GIB）来解决这些问题，并通过最小化互信息来消除不相关的特征和同时保持类之间的关系。在节点和图级任务上进行的广泛实验表明，IS-GIB 具有优越的泛化能力。

Jun, 2023

本文介绍了一种基于信息瓶颈原理的图形数据表示学习方法 —— 图信息瓶颈，该方法通过优化平衡了图形网络结构和节点特征的表达方式的表达性和鲁棒性，设计了两种采样算法进行结构方面的正则化，并使用两个新模型：GIB-Cat 和 GIB-Bern 来实现 GIB 原则，证明了其比最先进的图形防御模型更具有鲁棒性。

Oct, 2020

基于信息瓶颈理论，我们提出了一种名为 IBTA 的黑盒可传递对抗攻击的新框架，利用不变特征的进展。通过在等效攻击性能约束下减少对原始数据的敌对扰动依赖性，鼓励更多地依赖对分类有最大贡献的不变特征，从而增强对抗攻击的传递性。通过重新定义基于 IB 的传递攻击的优化，我们克服了不可优化的互信息挑战，并提出了一种简单高效的互信息下界 (MILB) 来逼近计算。此外，为了定量评估互信息，我们利用互信息神经估计器 (MINE) 进行了全面分析。我们在 ImageNet 数据集上的实验充分证明了 IBTA 和导出的 MILB 的效率和可扩展性。

Jun, 2024

本文提出了一个名为 CVIB 的新型对比变分信息瓶颈框架，用于减少深度模型在输入特征和输出标签之间的虚假关联问题，并通过在原始网络和自剪枝网络之间使用对比学习来同时优化这两个网络。实验表明，该方法在整体预测性能、鲁棒性和泛化性等方面均优于强竞争对手。

Mar, 2023

本文提出了一种名为 SIFA 的新型无监督域自适应框架，从图像和特征两方面进行协同对齐，利用多方面的对抗学习和深度监督机制增强了特征的域不变性，提高了在未标记目标图像上的分割性能。

Feb, 2020

本文提出了一种基于语义瓶颈网络的深度学习系统，通过引入解释性中间层来解决深度学习模型难以解释的问题，并在街道场景分割探索中展示其可行性和优越性。

Jul, 2019

本研究介绍了一种基于信息瓶颈理论的深度学习模型 IB-AdCSCNet，通过在梯度下降中动态调整交换参数 λ，优化压缩激发损失函数，实现压缩和拟合的最佳平衡。该模型不仅提供了一种一致性表现的模型，还融合了稀疏表示理论与深度学习的前沿视角。实验结果表明，IB-AdCSCNet 在处理受损数据时不仅能与深度残差卷积网络相媲美，而且还能表现更佳，并通过 IB 交换的推断显著增强了模型的稳健性。

May, 2024

本文将因果推断应用于信息瓶颈方法中，通过仪器变量对特征进行分离，以减轻因虚假相关性导致的限制，提高对抗鲁棒性。大量实验结果表明，该方法在 MNIST、FashionMNIST 和 CIFAR-10 数据集中有明显的对抗攻击鲁棒性。

Oct, 2022

本文提出了一种新的无监督域自适应框架，称为 Synergistic Image and Feature Adaptation（SIFA），旨在解决域移位问题，通过图像和特征透视图的协同适应实现。

Jan, 2019