BriefGPT.xyz
May, 2023
稍微过参数的ReLU网络具有良好的损失景观
Mildly Overparameterized ReLU Networks Have a Favorable Loss Landscape
HTML
PDF
Kedar Karhadkar, Michael Murray, Hanna Tseran, Guido Montúfar
TL;DR
研究了两层轻度超参数化ReLU神经网络对于平方误差丢失函数的一般有限输入数据集的损失景观，使用Jacobean的秩来界定局部和全局极小值集合的维度，并利用随机二进制矩阵的结果证明大多数激活模式对应于没有坏的可微局部极小值的参数区域。
Abstract
We study the
loss landscape
of two-layer mildly overparameterized
relu neural networks
on a generic finite input dataset for the squared error loss. Our approach involves bounding the dimension of the sets of loc
→