BriefGPT.xyz
Jun, 2018
具有单神经元隐藏层的ResNet是一种通用逼近器
ResNet with one-neuron hidden layers is a Universal Approximator
HTML
PDF
Hongzhou Lin, Stefanie Jegelka
TL;DR
利用只有一个神经元和ReLU激活函数的堆叠模块组成的深度ResNet可以均匀逼近$d$维的任何Lebesgue可积函数，这对于输入宽度为$d$的全连接网络是不可能的，因此这一结果表明ResNet架构增加了窄深度网络的表征能力。
Abstract
We demonstrate that a very deep
resnet
with stacked modules with one
neuron
per hidden layer and
relu
activation functions can uniformly a
→