BriefGPT.xyz
Aug, 2017
使用有界宽度和ReLU激活的深度神经网络实现通用函数逼近
Universal Function Approximation by Deep Neural Nets with Bounded Width and ReLU Activations
HTML
PDF
Boris Hanin
TL;DR
本文主要研究具有ReLU激活和有限宽度的神经网络的深度表达能力，重点探讨了通过这种网络对连续函数进行逼近的最小宽度和所需深度的问题，最终得出了使用宽度为$d+3$的ReLU网络可以以任意精度逼近$d$维空间上的任意标量连续函数的深度估计结论。
Abstract
This article conerns the expressive power of depth in
neural nets
with
relu activations
. We prove that ReLU nets with width $2d+2$ can approximate any continuous scalar function on the $d$-dimensional cube $[0,1]
→