BriefGPT.xyz
Apr, 2023
学习窄的一层ReLU网络
Learning Narrow One-Hidden-Layer ReLU Networks
HTML
PDF
Sitan Chen, Zehao Dou, Surbhi Goel, Adam R Klivans, Raghu Meka
TL;DR
我们提出了一个基于随机高阶矩张量收缩的多尺度算法，用于发现个别神经元。在学习由$k$个ReLU激活的线性组合方面，该算法是首个在多项式时间内成功的，而且无需额外假设网络的正系数或隐藏权重向量的矩阵具有良好的条件数。
Abstract
We consider the well-studied problem of learning a linear combination of $k$
relu activations
with respect to a
gaussian distribution
on inputs in $d$ dimensions. We give the first
→