通过证明，我们发现基于狭窄的 “教师神经网络” 存在时，随机的神经网络插值器通常具有很好的泛化能力。具体而言，我们显示出这种对神经网络参数化的 “平坦” 先验在神经网络函数上引发丰富的先验，这是由于神经网络结构中的冗余性引起的。特别是，这会导致对于更简单的函数具有偏好，这些函数需要较少的相关参数来表示，以实现与教师相当数量的参数（大致上是非冗余参数的数量）相关的样本复杂度的学习。
Feb, 2024
通过傅里叶分析的工具，表明深度 ReLU 网络偏向于低频函数，且随数据流形复杂性的增加，学习高频函数变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。
Jun, 2018
本文回顾了最近一系列训练超参数神经网络和学习随机特征的实证结果及其限制性说明，论述了神经网络的理论困境并对其表现出的令人印象深刻的经验结果提出了仍需克服的挑战。
Apr, 2019
该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。
Nov, 2016
本文提供了深度神经网络的隐式正则化和广义性能的新解释，即表明深度神经网络的参数 - 函数映射应该具有指数偏向简单函数的现象，并且该内在的简单性依赖有助于解释为什么深度网络在现实世界的问题上具有良好的泛化性能。此外，本文提出了一种基于 PAC-Bayes 理论的方法，可以保证目标函数产生高似然训练集时的良好期望泛化，而且该方法的普适性更好。
May, 2018
本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。
Jan, 2022
本论文在研究深度神经网络的高层特性时，发现高层单元与随机线性组合之间没有明显差别，并得出神经网络学习的输入输出映射具有不连续性以及网络可被微小扰动误分类等结论。
Dec, 2013
深度神经网络在分布变化下的泛化能力与特征污染、归纳偏差等因素相关，并非仅仅是偶然性相关。
Jun, 2024
该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。
Feb, 2018
本文提出深度神经网络可归纳地更倾向于寻找低秩嵌入的解，这种偏见在网络深度和宽度，初始化和训练过程中都存在，并且能够提高 CIFAR 和 ImageNet 数据集的泛化性能。
Mar, 2021