透明信息瓶颈下的解耦表示学习

Nov, 2023

Disentangled Representation Learning with Transmitted Information Bottleneck

Zhuohang Dang, Minnan Luo, Chengyou Jia, Guang Dai, Jihong Wang...

TL;DR通过传递信息的贝叶斯网络，我们引入了 DisTIB（传递信息瓶颈）作为一种导航信息压缩和保留之间平衡的新目标，通过可变推理和重参数化技巧获得了可优化的估计，实验证明其能够实现最优的解缠效果。

Abstract

Encoding only the task-related information from the raw data, \ie, disentangled representation learning, can greatly contribute to the robustness and generalizability of models. Although significant advances have been made by regularizing the information in representations with informa

disentangled representation learning bayesian networks transmitted information information compression variational inference

发现论文，激发创造

解缠结信息瓶颈

本文从监督解缠角度实现信息瓶颈方法，引入 DisenIB，以最大压缩的方式坚持最大化压缩源，而不会损失目标预测性能。理论和实验结果表明，我们的方法在最大压缩方面是一致的，并在泛化、对抗攻击鲁棒性、超出分布检测和监督解缠等方面表现良好。

Dec, 2020

Drop-Bottleneck: 学习离散压缩表示以实现鲁棒性噪声探索

我们提出了一种名为 Drop-Bottleneck 的信息瓶颈方法，该方法可以离散地删除与目标变量无关的特征。Drop-Bottleneck 不仅具有简单易行的压缩目标，而且还提供确定性压缩表示，可用于需要一致表示的推理任务。此外，它可以同时学习特征提取器和考虑到目标任务与每个特征维度之间关系的特征选择，这是大多数基于神经网络的 IB 方法所无法达到的。我们提出了一种基于 Drop-Bottleneck 的探索方法，适用于强化学习任务。在 VizDoom 和 DMLab 中的众多嘈杂和奖励稀疏的迷宫导航任务中，我们的探索方法实现了最先进的性能。作为一种新的 IB 框架，我们证明了 Drop-Bottleneck 在多个方面包括对抗鲁棒性和降维方面均优于 Variational Information Bottleneck（VIB）（Alemi 等人，2017）。

Mar, 2021

边缘推理中学习面向任务的通信：一种信息瓶颈方法

本文提出了一种基于学习的通信方案，综合优化特征提取，源编码和信道编码，采用变分信息瓶颈框架构建可行的上界，使用稀疏诱导分布作为变分先验，提高边缘设备和强大边缘服务器的传输性能和速度。

Feb, 2021

深度表征中的不变性和分解性的出现

使用统计和信息理论的已建立原则，我们展示了深度神经网络中对无关因素的不变性等同于学习表示的信息最小性，而叠加层和在训练期间注入噪声自然偏向于学习不变表示。我们进一步分解了训练过程中使用的交叉熵损失，强调了内在的过拟合项。我们提出通过两种等效方式来限制这样的项的正则化损失：一种是使用 Kullbach-Leibler 项，它与 PAC-Bayes 视角相关；另一种是使用权重中的信息作为学习模型复杂度的度量，从而为权重提供了一种新的信息瓶颈。最后，我们展示出在神经网络中学习到的表示组件的不变性和独立性在权重中的信息上限和下限是有界的，因此在训练过程中自动优化。该理论使我们能够量化和预测使用我们的正则化损失时随机标签下欠拟合和过拟合之间的尖锐相变，我们通过实验证实了这一点，并阐明了损失函数的几何形状、学习表示的不变性属性和泛化误差之间的关系。

Jun, 2017

弹性信息瓶颈

信息瓶颈是一种信息论表示学习原理，旨在学习一个最大压缩的表示，以尽可能保留关于标签的信息。本文研究了信息瓶颈和确定性信息瓶颈在迁移学习情景中的泛化能力，并提出了一种弹性信息瓶颈方法，通过在信息瓶颈和确定性信息瓶颈正则化之间插值来平衡源泛化差距和表示不一致性，实验证明该方法在领域自适应方面表现更好。

Nov, 2023

应用信息瓶颈解决任务导向通信中的分布偏移问题

在这篇论文中，我们提出了一种基于信息瓶颈原理和不变风险最小化框架的新方法，旨在提取紧凑且信息丰富的特征，以具备对领域转移和语义转移具有强大泛化能力的同时，在传输过程中保持紧凑性。我们在图像分类任务上的大量模拟结果表明，该方案优于当前的最先进方法，并实现了更好的率失真权衡。

May, 2024

确定性信息瓶颈

本文介绍一种替代信息瓶颈方法（IB）的确定性信息瓶颈（DIB），使用熵来度量压缩，得到硬聚类的解决方案，与 IB 相比，DIB 在 DIB 成本函数上明显优于 IB，并在收敛参数范围内提供计算效率的大幅提升。

Apr, 2016

离散和高斯源的分布式信息瓶颈方法

研究多个编码器分别以某种方式压缩其观察结果的分布式信息瓶颈问题，建立单字母表征信息率区间的模型，并针对离散无记忆源和无记忆向量高斯源，提出 Blahut-Arimoto 类型的迭代算法，通过迭代一组自洽方程来计算最优的信息率与复杂度之间的权衡。

Sep, 2017

高保真度分离表示合成

提出了一种基于信息提取的生成对抗网络框架（ID-GAN），可用于通过 VAE-based 模型学习分离表示，并将其提炼为生成高保真图像的 GAN 生成器。

Jan, 2020

深度变分多元信息瓶颈 —— 变分损失的框架

通过信息论，我们提出了一个可以重新演绎和推广现有变分方法，并设计新方法的统一原则。我们的框架基于多变量信息瓶颈的解释，其中两个贝叶斯网络相互权衡。我们将第一个网络解释为编码器图，指定了在压缩数据时要保留哪些信息；我们将第二个网络解释为解码器图，为数据指定了生成模型。利用这个框架，我们重新演绎了现有的降维方法，如深度变分信息瓶颈 (DVIB)，Beta 变分自动编码器 (beta-VAE) 和深度变分规范相关分析 (DVCCA)。该框架在 DVCCA 算法族中自然引入了一个压缩和重建之间的权衡参数，从而产生了新的 Beta-DVCCA 算法族。此外，我们推导出了一种新的变分降维方法，深度变分对称信息瓶颈 (DVSIB)，它可以同时压缩两个变量以保留它们压缩表示之间的信息。我们实现了所有这些算法，并在经过修改的噪声 MNIST 数据集上评估它们产生共享低维潜空间的能力。我们展示了与数据结构更匹配的算法 (Beta-DVCCA 和 DVSIB) 如何通过分类准确性和潜变量的维度来测量产生更好的潜空间。我们相信这个框架可以用来统一其他多视图表示学习算法，此外，它还为推导问题特定的损失函数提供了一个直观的框架。

Oct, 2023