ICLRMar, 2020

ResNet 压缩了哪些信息？

PDF
TL;DR本文旨在测试信息瓶颈原理是否适用于更现实的场景，通过训练 ResNet 模型以衡量其隐藏层和输入图像数据之间的互信息，发现该原理适用于分类和自编码的两种训练模式，并且即使对于自编码器，也会发生压缩。通过通过观察隐藏层激活条件下的样本图像，提供了一种直观的视觉化方法来理解 ResNet 学习到的内容。
information bottleneck principlesgd-based trainingdeep neural networksresnet modelmutual information
发现论文，激发创造
  • 透过信息揭示深度神经网络的黑盒

    本研究通过信息平面可视化深度神经网络，发现在标准深度学习中，大部分训练周期都用于对输入进行压缩以生成有效表示，而非适应标签，当训练误差变小并且随机梯度下降下降进入随机扩散阶段时，表征压缩阶段开始。隐藏层的加入可以极大的缩短训练时间。

    Mar, 2017

  • 深度学习与信息瓶颈原理

    使用信息瓶颈（IB）原理分析深度神经网络（DNN）的信息流，并得到 DNN 的理论极限及有限样本泛化的上限，同时探讨了网络的优化模型，层数和特征 / 连接与信息瓶颈权衡中的分叉点的关系，其中对应了网络层级结构上的结构相变。

    Mar, 2015

  • 深度神经网络的信息瓶颈分析通过有损压缩

    该研究利用 Information Bottleneck 原理和深度神经网络，采用互信息和压缩等技术，针对高维随机向量实现了对一般深度神经网络的信息瓶颈分析，并在一个近实际规模的卷积深度神经网络上揭示了互信息动态的新特征。

    May, 2023

  • 深度神经网络中的信息压缩表现：自适应估计器

    此研究探讨神经网络采用信息瓶颈理论通过压缩神经网络表示来提高泛化性能。研究结果表明，激活函数的饱和状态并非压缩的必要条件。但是 L2 正则化可以显著增加压缩，同时防止过拟合。在多次正则化后，只有最后一层的压缩与泛化性能呈正相关关系。

    Feb, 2019

  • 深度神经网络信息流估算

    研究深度神经网络训练过程中信息流和内部表示的演化，旨在阐明信息瓶颈理论的压缩方面。通过引入辅助 DNN 框架并通过开发严格估算器观察不同模型的压缩现象，最终将隐藏表示的几何聚类确定为真正感兴趣的现象。

    Oct, 2018

  • 深度学习中的信息瓶颈解析：统一信息理论目标

    本研究旨在比较和统一先前提出的信息瓶颈原则中的多个竞争目标，并开发更友好的替代目标，以便将信息瓶颈应用于现代深度神经网络结构，无需依赖于像密度估计这样的繁琐工具。研究结果可以在现代 DNN 结构（ResNets）上展示。

    Mar, 2020

  • 利用变分信息瓶颈压缩神经网络

    该论文研究了如何通过修剪神经元、信息瓶颈和稀疏正则化等方式来压缩神经网络模型，提高模型的精度和运行效率。在多个数据集和网络架构中展示了最先进的压缩率。

    Feb, 2018

  • 压缩还是不压缩 —— 自监督学习和信息理论：一篇综述

    本文综述了信息理论、自监督学习和深度神经网络三者交叉领域的最新研究进展，提出了自监督信息理论学习问题的统一框架，并讨论了信息论量的经验测量和估算方法。

    Apr, 2023

  • 应用信息瓶颈原理学习神经网络分类的表示

    通过研究使用信息瓶颈功能最小化来训练深度神经网络进行分类的理论论文，我们发现这种优化问题存在严重问题，方法包括使用随机神经网络、更加稳定的代价函数和设计直接实现所需属性的潜在表示的正则化项。

    Feb, 2018

  • 通过信息瓶颈理解二元神经网络的学习动态

    本文从信息瓶颈原理的角度分析了二值神经网络的训练动态，发现其不同于深度神经网络，同时发现二值神经网络会在表示压缩和损失拟合之间同时进行，从而发现其训练动态与激活函数无关

    Jun, 2020