ICLRSep, 2021

PAC-Bayes 信息瓶颈

PDF
TL;DR提出了一种有效的算法来近似存储在权重中的信息（IIW）并基于此构建了一种基于准确性和信息复杂度之间的权衡的 IIW 信息瓶颈（PIB），从中可以在 NN 培训期间经验性地确定压缩相变的适应性和 IIW 压缩与泛化之间的具体联系。此外，还提出了一种基于 MCMC 的算法，用于从 PIB 表征的最优权重后验中进行采样，从而实现了 IIW 在增强 NN 方面的潜力。
nnsgeneralizationinformation compressioninformation complexitymcmc algorithm
发现论文，激发创造
  • 深度神经网络的信息瓶颈分析通过有损压缩

    该研究利用 Information Bottleneck 原理和深度神经网络，采用互信息和压缩等技术，针对高维随机向量实现了对一般深度神经网络的信息瓶颈分析，并在一个近实际规模的卷积深度神经网络上揭示了互信息动态的新特征。

    May, 2023

  • 深度学习中信息瓶颈的更严格界限

    使用变分近似方法为信息瓶颈提供新的、更紧的下界，从而提高先前基于信息瓶颈的深度神经网络的性能，并显著增强分类深度神经网络的对抗鲁棒性。

    Feb, 2024

  • 深度学习与信息瓶颈原理

    使用信息瓶颈（IB）原理分析深度神经网络（DNN）的信息流，并得到 DNN 的理论极限及有限样本泛化的上限，同时探讨了网络的优化模型，层数和特征 / 连接与信息瓶颈权衡中的分叉点的关系，其中对应了网络层级结构上的结构相变。

    Mar, 2015

  • 可识别的信息瓶颈

    本文提出了一种基于认知信息瓶颈 (Recognizable Information Bottleneck, 简称 RIB) 的方法，旨在通过一种可优化的可识别性批评家，通过 Bregman 散度进行密度比匹配来规范表征的可识别性，从而优化模型并估计其泛化差距。

    Apr, 2023

  • 应用信息瓶颈原理学习神经网络分类的表示

    通过研究使用信息瓶颈功能最小化来训练深度神经网络进行分类的理论论文，我们发现这种优化问题存在严重问题，方法包括使用随机神经网络、更加稳定的代价函数和设计直接实现所需属性的潜在表示的正则化项。

    Feb, 2018

  • ImageNet 尺度下的非空泛化界：一种 PAC-Bayesian 压缩方法

    本文介绍了现代神经网络的普遍过拟合问题以及如何通过模型压缩来限制模型复杂度，提高模型泛化性能，同时基于对模型压缩技术的分析，提供了在压缩神经网络时的泛化误差界限及给出了实际应用于 ImageNet 分类问题中的第一个非微不足道的可行泛化误差保证。

    Apr, 2018

  • 非线性信息瓶颈

    该研究提出了一种方法，通过神经网络来实现将任意分布的离散和 / 或连续变量进行信息瓶颈编码和解码，并允许使用非线性映射，该方法通过一种新颖非参数上界来实现最大信息提取，相较于其他方法在多个真实数据集上表现更好。

    May, 2017

  • 解缠结信息瓶颈

    本文从监督解缠角度实现信息瓶颈方法，引入 DisenIB，以最大压缩的方式坚持最大化压缩源，而不会损失目标预测性能。理论和实验结果表明，我们的方法在最大压缩方面是一致的，并在泛化、对抗攻击鲁棒性、超出分布检测和监督解缠等方面表现良好。

    Dec, 2020

  • 信息瓶颈问题及其在机器学习中的应用

    该论文介绍了信息瓶颈理论作为一种信息理论范例来分析机器学习中使用深度学习等算法进行降维操作的有效性，并总结了其在深度学习理论中的重要性和实际算法的启示。

    Apr, 2020

  • 自适应语义压缩的信息排序瓶颈

    本文提出了信息有序瓶颈（IOB）的概念，它是一种神经层，旨在将数据自适应地压缩为按可能性排序的潜变量，实现了接近最优的压缩，并能够以语义上有意义的方式对潜在信号进行有序。此外，我们介绍了一个有关使用 IOBs 估计全局内在维数的新颖理论，并通过在异构数据集上的应用，展示了这些模型在探索性分析方面的实用性，使得计算机辅助数据集复杂性发现成为可能。

    May, 2023