Apr, 2024

深度学习中的信息平面分析可视化通过传递熵

PDF
TL;DR在一个前馈网络中，可以使用传递熵（TE）来衡量一层对另一层的影响，通过在训练期间量化它们之间的信息传递。通过在输入数据中的信息量与压缩表示之间绘制图表来理解信息瓶颈方法中压缩和信息保留之间的权衡，这被称为信息平面分析。我们使用 TE 来量化神经层之间的信息传输，并进行信息平面分析以探索信息理论压缩和泛化之间的因果关系。我们获得了令人鼓舞的实验结果，为进一步研究打开了可能性。
发现论文，激发创造
  • 神经网络分类器信息平面分析 -- 综述

    本文就信息平面分析、神经网络分类器、信息论压缩、潜在表示、互信息估计等方面的问题进行了综述和分析，研究发现信息压缩不一定与信息论有关，而是与潜在表示的几何压缩相容。此外还探讨了神经网络互信息估计的问题及其后果。

    Mar, 2020

  • 透过信息揭示深度神经网络的黑盒

    本研究通过信息平面可视化深度神经网络，发现在标准深度学习中，大部分训练周期都用于对输入进行压缩以生成有效表示，而非适应标签，当训练误差变小并且随机梯度下降下降进入随机扩散阶段时，表征压缩阶段开始。隐藏层的加入可以极大的缩短训练时间。

    Mar, 2017

  • 利用信息论概念理解自编码器

    本文从信息论的角度出发，提出了一种理论和系统性的方法，详细介绍了深度学习中数据的流动和自编码器的设计，探究了互信息在描述数据学习上的重要性，并针对均方误差的训练提出了三个基本特性，这对自编码器的最优设计、替代前馈训练方法的设计、以及泛化问题有直接的影响。

    Mar, 2018

  • 通过转移熵加速卷积神经网络的学习

    将传输熵（TE）引入卷积神经网络（CNN）架构的学习机制，通过随机选取部分神经元对的信息传输，以实现计算开销与准确性之间的平衡。

    Apr, 2024

  • TREET: 基于 Transformer 的传递熵估计

    提出了一种基于 Transformer 的新系统，用于估计稳态过程中的传递熵。通过使用注意力机制进行神经估计，该方法借助 Donsker-Vardhan 表示来估计传递熵，并与现有方法进行了比较，同时还设计了估计传递熵的优化方案。最后，该方法应用于实世界特征分析，并与深度学习方法相结合，为尚未解决的通信问题提供了新的解决途径。

    Feb, 2024

  • 深度神经网络的信息瓶颈分析通过有损压缩

    该研究利用 Information Bottleneck 原理和深度神经网络，采用互信息和压缩等技术，针对高维随机向量实现了对一般深度神经网络的信息瓶颈分析，并在一个近实际规模的卷积深度神经网络上揭示了互信息动态的新特征。

    May, 2023

  • 深度神经网络信息流估算

    研究深度神经网络训练过程中信息流和内部表示的演化，旨在阐明信息瓶颈理论的压缩方面。通过引入辅助 DNN 框架并通过开发严格估算器观察不同模型的压缩现象，最终将隐藏表示的几何聚类确定为真正感兴趣的现象。

    Oct, 2018

  • 深度神经网络模型中的熵和互信息

    本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。

    May, 2018

  • 信息传输的测量

    本研究提出一种信息论度量方法对时间演化系统间的统计相关性进行量化，通过迁移概率的适当条件化排除共同历史和输入信号对信息交换的影响，从而得到的传输熵可以区分驱动和响应元件，并检测子系统间的不对称性。

    Jan, 2000

  • 利用信息理论研究深度神经网络的因果结构

    本文提出了一种度量深度神经网络在训练过程中因果结构的度量方法，即有效信息（EI），用于评估每个层的因果影响节点和边缘在其下游目标上的度量。通过分解 EI 以检查每个层的敏感性、退化性和整合信息量，可以在 “因果平面” 上可视化每个层次的连接方式如何随时间变得更加敏感或退化，以及集成如何在训练期间改变。结果有助于理解深度神经网络的泛化能力，并为使 DNN 具有更高的泛化性和可解释性提供基础工具。

    Oct, 2020