Jul, 2020
关于多层 ReLU 网络相关的 Banach 空间:函数表示、逼近理论和梯度下降动态
On the Banach spaces associated with multi-layer ReLU networks: Function representation, approximation theory and gradient descent dynamics
Weinan E, Stephan Wojtowytsch
TL;DR本文提出了适用于 ReLU 神经网络的 Banach 空间,其中包含了所有有限全连接 L 层网络及其 L^2 - 极限对象,具有低的 Rademacher 复杂性和良好的泛化特性,函数可以通过多层神经网络进行近似,收敛速率与维度无关。