Apr, 2018
用信息论理解卷积神经网络：一个初步探索
Understanding Convolutional Neural Networks with Information Theory: An Initial Exploration
Shujian Yu, Kristoffer Wickstrøm, Robert Jenssen, Jose C. Principe
TL;DR本文介绍了基于重现核希尔伯特空间中投影数据的 Hermitian 矩阵的归一化特征谱而发展起来的基于矩阵的 Renyi's alpha-entropy functional 及其多元扩展方法，拓展其使用价值并应用于卷积神经网络（CNN）中，通过发展三个量来分析卷积层表示中的协同作用和冗余，验证了两个基本的数据处理不等式，揭示了训练 CNN 的一些基本特性。