本文主要讨论信息瓶颈问题，包括如何解决它、与编码和学习方面的联系，以及其对分布式信息瓶颈问题和高斯模型的扩展。同时探讨其与自动编码器、表征学习、变分推断和通用重建等方面的紧密联系。

Jan, 2020

研究了分布式表示学习的问题，提出了信息瓶颈方法的分布式模型，并探究了离散记忆和向量高斯数据模型下的最优复杂性 - 相关性折衷。通过两种算法计算并优化编码映射，证明了该方法在真实数据集上的有效性。

Jul, 2018

该研究提出了一种方法，通过神经网络来实现将任意分布的离散和 / 或连续变量进行信息瓶颈编码和解码，并允许使用非线性映射，该方法通过一种新颖非参数上界来实现最大信息提取，相较于其他方法在多个真实数据集上表现更好。

May, 2017

本文从监督解缠角度实现信息瓶颈方法，引入 DisenIB，以最大压缩的方式坚持最大化压缩源，而不会损失目标预测性能。理论和实验结果表明，我们的方法在最大压缩方面是一致的，并在泛化、对抗攻击鲁棒性、超出分布检测和监督解缠等方面表现良好。

Dec, 2020

本文提出了信息瓶颈方法的多元扩展的通用原则框架，利用贝叶斯网络来指定不同数据划分之间的关联，并展示了迭代算法的通用框架。

Jan, 2013

本文介绍一种替代信息瓶颈方法（IB）的确定性信息瓶颈（DIB），使用熵来度量压缩，得到硬聚类的解决方案，与 IB 相比，DIB 在 DIB 成本函数上明显优于 IB，并在收敛参数范围内提供计算效率的大幅提升。

Apr, 2016

对称信息瓶颈（SIB）是一种同时压缩两个随机变量以保留它们的信息的降维技术，我们引入了广义对称信息瓶颈（GSIB），通过探索不同成本函数的形式来研究这种同时降维的代价，同时我们还研究了这种同时压缩的数据集大小要求，结果表明相比于逐个压缩变量，同时压缩需要的数据量在典型情况下达到相同误差所需的数据量要少，因此我们认为这是一种更为通用的原则，即同时压缩比独立压缩输入变量更高效。

Sep, 2023

通过传递信息的贝叶斯网络，我们引入了 DisTIB（传递信息瓶颈）作为一种导航信息压缩和保留之间平衡的新目标，通过可变推理和重参数化技巧获得了可优化的估计，实验证明其能够实现最优的解缠效果。

Nov, 2023

检索增强生成结合了大语言模型的能力和从广泛语料库检索到的相关信息，但在面对现实世界的噪声数据时面临挑战。本文提出将信息瓶颈理论引入检索增强生成，通过同时最大化压缩和生成结果的互信息，最小化压缩和检索到的内容之间的互信息，实现对噪声的过滤。实验结果表明，我们的方法在各种问答数据集中取得显著的改进，不仅在答案生成的正确性方面，而且在 2.5% 的压缩率下的简洁性方面也有明显提升。

Jun, 2024

通过拟合互信息的规范化核格拉姆矩阵，我们提出了一种新的可微信息瓶颈方法 (DIB)，通过确定性和解析的方式有效地进行多视角聚类，实现了输入变量从不同视角的确定性压缩。

Mar, 2024