BriefGPT.xyz
May, 2023
无限宽深度神经网络中的稀疏度-深度权衡
Sparsity-depth Tradeoff in Infinitely Wide Deep Neural Networks
HTML
PDF
Chanwoo Chun, Daniel D. Lee
TL;DR
研究稀疏神经活动如何影响具有修正线性单元激活的神经网络的一般化性能，提出神经网络高斯过程（NNGP）核，观察到在浅层时更稀疏的网络在各种数据集上优于非稀疏网络，并通过扩展现有的核-岭回归的一般化误差理论来验证此观察结果。
Abstract
We investigate how
sparse neural activity
affects the
generalization performance
of a deep
bayesian neural network
at the large width limi
→