Apr, 2023
深度稳定神经网络的无限宽度极限:次线性、线性和超线性激活函数
Infinitely wide limits for deep Stable neural networks: sub-linear, linear and super-linear activation functions
Alberto Bordino, Stefano Favaro, Sandra Fortini
TL;DR本研究探讨了具有稳定分布参数的深度神经网络的大宽度特性,结果表明稳定 NNs 的缩放和其无限宽极限的稳定性可能取决于激活函数的选择。