May, 2023

自适应语义压缩的信息排序瓶颈

PDF
TL;DR本文提出了信息有序瓶颈（IOB）的概念，它是一种神经层，旨在将数据自适应地压缩为按可能性排序的潜变量，实现了接近最优的压缩，并能够以语义上有意义的方式对潜在信号进行有序。此外，我们介绍了一个有关使用 IOBs 估计全局内在维数的新颖理论，并通过在异构数据集上的应用，展示了这些模型在探索性分析方面的实用性，使得计算机辅助数据集复杂性发现成为可能。
information-ordered bottleneckneural layerlatent variablescompressionglobal intrinsic dimensionality
发现论文，激发创造
  • 深度神经网络的信息瓶颈分析通过有损压缩

    该研究利用 Information Bottleneck 原理和深度神经网络，采用互信息和压缩等技术，针对高维随机向量实现了对一般深度神经网络的信息瓶颈分析，并在一个近实际规模的卷积深度神经网络上揭示了互信息动态的新特征。

    May, 2023

  • 深度学习中信息瓶颈的更严格界限

    使用变分近似方法为信息瓶颈提供新的、更紧的下界，从而提高先前基于信息瓶颈的深度神经网络的性能，并显著增强分类深度神经网络的对抗鲁棒性。

    Feb, 2024

  • 非线性信息瓶颈

    该研究提出了一种方法，通过神经网络来实现将任意分布的离散和 / 或连续变量进行信息瓶颈编码和解码，并允许使用非线性映射，该方法通过一种新颖非参数上界来实现最大信息提取，相较于其他方法在多个真实数据集上表现更好。

    May, 2017

  • 解缠结信息瓶颈

    本文从监督解缠角度实现信息瓶颈方法，引入 DisenIB，以最大压缩的方式坚持最大化压缩源，而不会损失目标预测性能。理论和实验结果表明，我们的方法在最大压缩方面是一致的，并在泛化、对抗攻击鲁棒性、超出分布检测和监督解缠等方面表现良好。

    Dec, 2020

  • 数据效率、降维、广义对称信息瓶颈

    对称信息瓶颈（SIB）是一种同时压缩两个随机变量以保留它们的信息的降维技术，我们引入了广义对称信息瓶颈（GSIB），通过探索不同成本函数的形式来研究这种同时降维的代价，同时我们还研究了这种同时压缩的数据集大小要求，结果表明相比于逐个压缩变量，同时压缩需要的数据量在典型情况下达到相同误差所需的数据量要少，因此我们认为这是一种更为通用的原则，即同时压缩比独立压缩输入变量更高效。

    Sep, 2023

  • 确定性多视角聚类的可微信息瓶颈

    通过拟合互信息的规范化核格拉姆矩阵，我们提出了一种新的可微信息瓶颈方法 (DIB)，通过确定性和解析的方式有效地进行多视角聚类，实现了输入变量从不同视角的确定性压缩。

    Mar, 2024

  • 利用子图信息识别具有预测性的基础结构压缩模型

    通过引入信息瓶颈理论的设计，结合相似桥接原理和互信息估计式的互动，提出了一种新型的子图信息瓶颈架构来识别预测压缩的子图，成功去除了图数据中的噪音和冗余，具有高效和稳定性，得到了较好的优化结果和理论边界。

    Mar, 2021

  • IB-AdCSCNet: 自适应卷积稀疏编码网络受信息瓶颈驱动

    本研究介绍了一种基于信息瓶颈理论的深度学习模型 IB-AdCSCNet，通过在梯度下降中动态调整交换参数 λ，优化压缩激发损失函数，实现压缩和拟合的最佳平衡。该模型不仅提供了一种一致性表现的模型，还融合了稀疏表示理论与深度学习的前沿视角。实验结果表明，IB-AdCSCNet 在处理受损数据时不仅能与深度残差卷积网络相媲美，而且还能表现更佳，并通过 IB 交换的推断显著增强了模型的稳健性。

    May, 2024

  • 边缘推理中学习面向任务的通信：一种信息瓶颈方法

    本文提出了一种基于学习的通信方案，综合优化特征提取，源编码和信道编码，采用变分信息瓶颈框架构建可行的上界，使用稀疏诱导分布作为变分先验，提高边缘设备和强大边缘服务器的传输性能和速度。

    Feb, 2021

  • 确定性信息瓶颈

    本文介绍一种替代信息瓶颈方法（IB）的确定性信息瓶颈（DIB），使用熵来度量压缩，得到硬聚类的解决方案，与 IB 相比，DIB 在 DIB 成本函数上明显优于 IB，并在收敛参数范围内提供计算效率的大幅提升。

    Apr, 2016