BriefGPT.xyz
Apr, 2023
深度神经网络中的临界性与均匀性
Criticality versus uniformity in deep neural networks
HTML
PDF
Aleksandar Bukva, Jurriaan de Gier, Kevin T. Grosvenor, Ro Jefferson, Koenraad Schalm...
TL;DR
本文研究了沿着混乱边缘初始化的深度前馈网络，发现其具有指数级的培训能力。同时探讨了tanh激活函数的饱和效果，发现这个效果会影响到混乱边界的训练效率，并提出了最大熵的相空间平衡特性。研究表明，在混乱边缘初始化是实现最优训练能力的必要条件，但不足以满足这个目标。
Abstract
deep feedforward networks
initialized along the
edge of chaos
exhibit exponentially superior
training ability
as quantified by maximum tra
→