Feb, 2024
均匀随机权重生成非均匀偏差：典型插值神经网络泛化时具有狭窄的教师
How Uniform Random Weights Induce Non-uniform Bias: Typical Interpolating Neural Networks Generalize with Narrow Teachers
Gon Buzaglo, Itamar Harel, Mor Shpigel Nacson, Alon Brutzkus, Nathan Srebro...
TL;DR通过证明，我们发现基于狭窄的 “教师神经网络” 存在时，随机的神经网络插值器通常具有很好的泛化能力。具体而言，我们显示出这种对神经网络参数化的 “平坦” 先验在神经网络函数上引发丰富的先验，这是由于神经网络结构中的冗余性引起的。特别是，这会导致对于更简单的函数具有偏好，这些函数需要较少的相关参数来表示，以实现与教师相当数量的参数（大致上是非冗余参数的数量）相关的样本复杂度的学习。