ICMLOct, 2018
深度神经网络信息流估算
Estimating Information Flow in Deep Neural Networks
Ziv Goldfeld, Ewout van den Berg, Kristjan Greenewald, Igor Melnyk, Nam Nguyen...
TL;DR研究深度神经网络训练过程中信息流和内部表示的演化,旨在阐明信息瓶颈理论的压缩方面。通过引入辅助 DNN 框架并通过开发严格估算器观察不同模型的压缩现象,最终将隐藏表示的几何聚类确定为真正感兴趣的现象。