BriefGPT.xyz
Jun, 2017
神经网络与有理函数
Neural networks and rational functions
HTML
PDF
Matus Telgarsky
TL;DR
神经网络与有理函数可以高效地相互逼近。对于任何ReLU网络，存在一个具有$O(polylog(1/ε))$次的有理函数，其与该网络的误差为ε。同样对于任何有理函数，都存在一个大小为$O(polylog(1/ε))$的ReLU网络，其与该函数的误差也为ε。与之相反，即便是简单的ReLU都需要多项式级别的次数来逼近，当将ReLU网络转换为上述有理函数时，隐藏的参数会呈指数级增长，这是由具有紧密上界的分层结构实现的。
Abstract
neural networks
and
rational functions
efficiently approximate each other. In more detail, it is shown here that for any
relu network
, the
→