May, 2023

深度神经网络的信息瓶颈分析通过有损压缩

PDF
TL;DR该研究利用 Information Bottleneck 原理和深度神经网络，采用互信息和压缩等技术，针对高维随机向量实现了对一般深度神经网络的信息瓶颈分析，并在一个近实际规模的卷积深度神经网络上揭示了互信息动态的新特征。
发现论文，激发创造
  • 深度学习与信息瓶颈原理

    使用信息瓶颈（IB）原理分析深度神经网络（DNN）的信息流，并得到 DNN 的理论极限及有限样本泛化的上限，同时探讨了网络的优化模型，层数和特征 / 连接与信息瓶颈权衡中的分叉点的关系，其中对应了网络层级结构上的结构相变。

    Mar, 2015

  • 透过信息揭示深度神经网络的黑盒

    本研究通过信息平面可视化深度神经网络，发现在标准深度学习中，大部分训练周期都用于对输入进行压缩以生成有效表示，而非适应标签，当训练误差变小并且随机梯度下降下降进入随机扩散阶段时，表征压缩阶段开始。隐藏层的加入可以极大的缩短训练时间。

    Mar, 2017

  • 应用信息瓶颈原理学习神经网络分类的表示

    通过研究使用信息瓶颈功能最小化来训练深度神经网络进行分类的理论论文，我们发现这种优化问题存在严重问题，方法包括使用随机神经网络、更加稳定的代价函数和设计直接实现所需属性的潜在表示的正则化项。

    Feb, 2018

  • 深度学习中信息瓶颈的更严格界限

    使用变分近似方法为信息瓶颈提供新的、更紧的下界，从而提高先前基于信息瓶颈的深度神经网络的性能，并显著增强分类深度神经网络的对抗鲁棒性。

    Feb, 2024

  • 深度神经网络信息流估算

    研究深度神经网络训练过程中信息流和内部表示的演化，旨在阐明信息瓶颈理论的压缩方面。通过引入辅助 DNN 框架并通过开发严格估算器观察不同模型的压缩现象，最终将隐藏表示的几何聚类确定为真正感兴趣的现象。

    Oct, 2018

  • 确定性多视角聚类的可微信息瓶颈

    通过拟合互信息的规范化核格拉姆矩阵，我们提出了一种新的可微信息瓶颈方法 (DIB)，通过确定性和解析的方式有效地进行多视角聚类，实现了输入变量从不同视角的确定性压缩。

    Mar, 2024

  • 确定性信息瓶颈

    本文介绍一种替代信息瓶颈方法（IB）的确定性信息瓶颈（DIB），使用熵来度量压缩，得到硬聚类的解决方案，与 IB 相比，DIB 在 DIB 成本函数上明显优于 IB，并在收敛参数范围内提供计算效率的大幅提升。

    Apr, 2016

  • 弹性信息瓶颈

    信息瓶颈是一种信息论表示学习原理，旨在学习一个最大压缩的表示，以尽可能保留关于标签的信息。本文研究了信息瓶颈和确定性信息瓶颈在迁移学习情景中的泛化能力，并提出了一种弹性信息瓶颈方法，通过在信息瓶颈和确定性信息瓶颈正则化之间插值来平衡源泛化差距和表示不一致性，实验证明该方法在领域自适应方面表现更好。

    Nov, 2023

  • 解缠结信息瓶颈

    本文从监督解缠角度实现信息瓶颈方法，引入 DisenIB，以最大压缩的方式坚持最大化压缩源，而不会损失目标预测性能。理论和实验结果表明，我们的方法在最大压缩方面是一致的，并在泛化、对抗攻击鲁棒性、超出分布检测和监督解缠等方面表现良好。

    Dec, 2020

  • 非线性信息瓶颈

    该研究提出了一种方法，通过神经网络来实现将任意分布的离散和 / 或连续变量进行信息瓶颈编码和解码，并允许使用非线性映射，该方法通过一种新颖非参数上界来实现最大信息提取，相较于其他方法在多个真实数据集上表现更好。

    May, 2017