数据效率、降维、广义对称信息瓶颈

Sep, 2023

数据效率、降维、广义对称信息瓶颈

Data efficiency, dimensionality reduction, and the generalized symmetric information bottleneck

K. Michael Martini, Ilya Nemenman

TL;DR对称信息瓶颈（SIB）是一种同时压缩两个随机变量以保留它们的信息的降维技术，我们引入了广义对称信息瓶颈（GSIB），通过探索不同成本函数的形式来研究这种同时降维的代价，同时我们还研究了这种同时压缩的数据集大小要求，结果表明相比于逐个压缩变量，同时压缩需要的数据量在典型情况下达到相同误差所需的数据量要少，因此我们认为这是一种更为通用的原则，即同时压缩比独立压缩输入变量更高效。

Abstract

The symmetric information bottleneck (SIB), an extension of the more familiar Information Bottleneck, is a dimensionality reduction technique that simultaneously compresses two random variables to preserve inform

symmetric information bottleneck dimensionality reduction generalized symmetric information bottleneck data compression data efficiency

发现论文，激发创造

解缠结信息瓶颈

本文从监督解缠角度实现信息瓶颈方法，引入 DisenIB，以最大压缩的方式坚持最大化压缩源，而不会损失目标预测性能。理论和实验结果表明，我们的方法在最大压缩方面是一致的，并在泛化、对抗攻击鲁棒性、超出分布检测和监督解缠等方面表现良好。

Dec, 2020

确定性信息瓶颈

本文介绍一种替代信息瓶颈方法（IB）的确定性信息瓶颈（DIB），使用熵来度量压缩，得到硬聚类的解决方案，与 IB 相比，DIB 在 DIB 成本函数上明显优于 IB，并在收敛参数范围内提供计算效率的大幅提升。

Apr, 2016

非线性信息瓶颈

该研究提出了一种方法，通过神经网络来实现将任意分布的离散和 / 或连续变量进行信息瓶颈编码和解码，并允许使用非线性映射，该方法通过一种新颖非参数上界来实现最大信息提取，相较于其他方法在多个真实数据集上表现更好。

May, 2017

弹性信息瓶颈

信息瓶颈是一种信息论表示学习原理，旨在学习一个最大压缩的表示，以尽可能保留关于标签的信息。本文研究了信息瓶颈和确定性信息瓶颈在迁移学习情景中的泛化能力，并提出了一种弹性信息瓶颈方法，通过在信息瓶颈和确定性信息瓶颈正则化之间插值来平衡源泛化差距和表示不一致性，实验证明该方法在领域自适应方面表现更好。

Nov, 2023

可识别的信息瓶颈

本文提出了一种基于认知信息瓶颈 (Recognizable Information Bottleneck, 简称 RIB) 的方法，旨在通过一种可优化的可识别性批评家，通过 Bregman 散度进行密度比匹配来规范表征的可识别性，从而优化模型并估计其泛化差距。

Apr, 2023

深度神经网络的信息瓶颈分析通过有损压缩

该研究利用 Information Bottleneck 原理和深度神经网络，采用互信息和压缩等技术，针对高维随机向量实现了对一般深度神经网络的信息瓶颈分析，并在一个近实际规模的卷积深度神经网络上揭示了互信息动态的新特征。

May, 2023

确定性场景中信息瓶颈的注意事项

本文研究信息瓶颈（IB）在有监督学习中的应用，提出了一个新的函数来解决 IB 曲线无法被最大化 IB Lagrangian 找到的问题。文章展示了本文提出的三个严重的警告，并在 MNIST 数据集上进行了演示。

Aug, 2018

深度变分多元信息瓶颈 —— 变分损失的框架

通过信息论，我们提出了一个可以重新演绎和推广现有变分方法，并设计新方法的统一原则。我们的框架基于多变量信息瓶颈的解释，其中两个贝叶斯网络相互权衡。我们将第一个网络解释为编码器图，指定了在压缩数据时要保留哪些信息；我们将第二个网络解释为解码器图，为数据指定了生成模型。利用这个框架，我们重新演绎了现有的降维方法，如深度变分信息瓶颈 (DVIB)，Beta 变分自动编码器 (beta-VAE) 和深度变分规范相关分析 (DVCCA)。该框架在 DVCCA 算法族中自然引入了一个压缩和重建之间的权衡参数，从而产生了新的 Beta-DVCCA 算法族。此外，我们推导出了一种新的变分降维方法，深度变分对称信息瓶颈 (DVSIB)，它可以同时压缩两个变量以保留它们压缩表示之间的信息。我们实现了所有这些算法，并在经过修改的噪声 MNIST 数据集上评估它们产生共享低维潜空间的能力。我们展示了与数据结构更匹配的算法 (Beta-DVCCA 和 DVSIB) 如何通过分类准确性和潜变量的维度来测量产生更好的潜空间。我们相信这个框架可以用来统一其他多视图表示学习算法，此外，它还为推导问题特定的损失函数提供了一个直观的框架。

Oct, 2023

信息瓶颈和几何聚类

本文基于确定性信息瓶颈 (DIB) 方法提出了一种新的模型选择算法，将改进后的 IB 方法用于基于几何距离的聚类，通过识别聚类数与空间信息之间的权衡，有效选择聚类数，实现了对 k-means 和 EM 算法的信息论泛化。

Dec, 2017

确定性多视角聚类的可微信息瓶颈

通过拟合互信息的规范化核格拉姆矩阵，我们提出了一种新的可微信息瓶颈方法 (DIB)，通过确定性和解析的方式有效地进行多视角聚类，实现了输入变量从不同视角的确定性压缩。

Mar, 2024