Feb, 2018

应用信息瓶颈原理学习神经网络分类的表示

PDF
TL;DR通过研究使用信息瓶颈功能最小化来训练深度神经网络进行分类的理论论文，我们发现这种优化问题存在严重问题，方法包括使用随机神经网络、更加稳定的代价函数和设计直接实现所需属性的潜在表示的正则化项。
发现论文，激发创造
  • 深度学习与信息瓶颈原理

    使用信息瓶颈（IB）原理分析深度神经网络（DNN）的信息流，并得到 DNN 的理论极限及有限样本泛化的上限，同时探讨了网络的优化模型，层数和特征 / 连接与信息瓶颈权衡中的分叉点的关系，其中对应了网络层级结构上的结构相变。

    Mar, 2015

  • 深度学习中信息瓶颈的更严格界限

    使用变分近似方法为信息瓶颈提供新的、更紧的下界，从而提高先前基于信息瓶颈的深度神经网络的性能，并显著增强分类深度神经网络的对抗鲁棒性。

    Feb, 2024

  • 深度神经网络的信息瓶颈分析通过有损压缩

    该研究利用 Information Bottleneck 原理和深度神经网络，采用互信息和压缩等技术，针对高维随机向量实现了对一般深度神经网络的信息瓶颈分析，并在一个近实际规模的卷积深度神经网络上揭示了互信息动态的新特征。

    May, 2023

  • 信息瓶颈问题及其在机器学习中的应用

    该论文介绍了信息瓶颈理论作为一种信息理论范例来分析机器学习中使用深度学习等算法进行降维操作的有效性，并总结了其在深度学习理论中的重要性和实际算法的启示。

    Apr, 2020

  • 透过信息揭示深度神经网络的黑盒

    本研究通过信息平面可视化深度神经网络，发现在标准深度学习中，大部分训练周期都用于对输入进行压缩以生成有效表示，而非适应标签，当训练误差变小并且随机梯度下降下降进入随机扩散阶段时，表征压缩阶段开始。隐藏层的加入可以极大的缩短训练时间。

    Mar, 2017

  • 弹性信息瓶颈

    信息瓶颈是一种信息论表示学习原理，旨在学习一个最大压缩的表示，以尽可能保留关于标签的信息。本文研究了信息瓶颈和确定性信息瓶颈在迁移学习情景中的泛化能力，并提出了一种弹性信息瓶颈方法，通过在信息瓶颈和确定性信息瓶颈正则化之间插值来平衡源泛化差距和表示不一致性，实验证明该方法在领域自适应方面表现更好。

    Nov, 2023

  • 通过信息瓶颈理解二元神经网络的学习动态

    本文从信息瓶颈原理的角度分析了二值神经网络的训练动态，发现其不同于深度神经网络，同时发现二值神经网络会在表示压缩和损失拟合之间同时进行，从而发现其训练动态与激活函数无关

    Jun, 2020

  • 因果信息瓶颈提升深度神经网络对抗性鲁棒性

    本文将因果推断应用于信息瓶颈方法中，通过仪器变量对特征进行分离，以减轻因虚假相关性导致的限制，提高对抗鲁棒性。大量实验结果表明，该方法在 MNIST、FashionMNIST 和 CIFAR-10 数据集中有明显的对抗攻击鲁棒性。

    Oct, 2022

  • 深度学习中的信息瓶颈解析：统一信息理论目标

    本研究旨在比较和统一先前提出的信息瓶颈原则中的多个竞争目标，并开发更友好的替代目标，以便将信息瓶颈应用于现代深度神经网络结构，无需依赖于像密度估计这样的繁琐工具。研究结果可以在现代 DNN 结构（ResNets）上展示。

    Mar, 2020

  • 矩阵熵函数的深度确定性信息瓶颈

    我们介绍了基于矩阵的 Renyi 的 α 阶熵函数来用神经网络参数化 Tishby 等人的信息瓶颈原理，并将我们的方法称为深度确定性信息瓶颈。我们证明，使用 DIB 训练的深度神经网络在泛化性能和对抗性攻击的鲁棒性方面优于变分目标和其他形式的正则化训练的网络。

    Jan, 2021