本文通过优化信息瓶颈（IB）目标的界限，提出了一种新的完全无监督方法， jointly 学习解释器和端任务预测器，通过可调的稀疏先验直接控制掩码的稀疏性水平。在 ERASER 基准任务上的实验表明，使用 IB 相比于 norm-minimization 技术，在任务性能和与人类理性的一致性方面都取得了显著的收益。此外，我们发现在半监督学习的情况下，对于训练样本的 25％的黄金理性，能够弥补使用完整输入的模型的差距。

May, 2020

信息瓶颈是一种信息论表示学习原理，旨在学习一个最大压缩的表示，以尽可能保留关于标签的信息。本文研究了信息瓶颈和确定性信息瓶颈在迁移学习情景中的泛化能力，并提出了一种弹性信息瓶颈方法，通过在信息瓶颈和确定性信息瓶颈正则化之间插值来平衡源泛化差距和表示不一致性，实验证明该方法在领域自适应方面表现更好。

Nov, 2023

本研究提出了一种系统无关的解释模式，即采用信息瓶颈原理作为准则来寻找在简洁性和全面性方面都具备的关键特征，并在三个数据集上评估了其可解释性和保真度。

Feb, 2019

为了使模型更加易用，我们提出了一种基于信息瓶颈的知识蒸馏方法 IBKD，通过最大化教师模型和学生模型的最终表示之间的互信息，并减少学生模型表示和输入数据之间的互信息，以保留重要的学习信息并避免过拟合的风险，从而有效地在文本表示和下游任务中应用。

Nov, 2023

本文利用信息瓶颈理论，研究消除易受攻击的非鲁棒特征，提取任务特定的鲁棒特征。通过大量实验证明，我们的方法可在 SST-2、AGNEWS 和 IMDB 数据集上除了几乎不受性能下降的情况下，在鲁棒准确度上实现显著提高，超过以往任何被报道的方法。

Jun, 2022

本文从监督解缠角度实现信息瓶颈方法，引入 DisenIB，以最大压缩的方式坚持最大化压缩源，而不会损失目标预测性能。理论和实验结果表明，我们的方法在最大压缩方面是一致的，并在泛化、对抗攻击鲁棒性、超出分布检测和监督解缠等方面表现良好。

Dec, 2020

信息瓶颈保护器 (IBProtector) 是一种立足于信息瓶颈原理的防御机制，通过压缩和扰动提示信息，以保留目标大语言模型回应预期答案所需的关键信息，从而有效防止越狱攻击，而不过度影响响应质量或推理速度。

Apr, 2024

该论文介绍了信息瓶颈理论作为一种信息理论范例来分析机器学习中使用深度学习等算法进行降维操作的有效性，并总结了其在深度学习理论中的重要性和实际算法的启示。

Apr, 2020

使用信息熵原理，提出了无监督的文档摘要方法，通过两个单独步骤在信号查询和句子搜索和编辑之间进行。使用预训练的语言模型返回最终提取的摘要结果，验证了在三个科学文献集上的有效性，同时人类评估表明此方法包含了更多的内容方面。

Oct, 2021

在这项研究中，我们提出了一种新颖的解释性图神经网络框架（PGIB），将原型学习与信息瓶颈框架相结合，为模型预测提供关键子图的原型。通过广泛的实验和定性分析，证明了 PGIB 在预测性能和可解释性方面优于最先进的方法。

Oct, 2023