关键词over-parameterized neural networks
搜索结果 - 9
- 神经网络中的过参数化与对抗鲁棒性：综述与实证分析
通过实证研究，我们发现过参数化神经网络相对于低参数网络在对抗性攻击方面更具鲁棒性。
- 机器学习的功能双层优化
我们介绍了一种新的功能性观点，用于机器学习领域的双层优化问题，其中内部目标函数在函数空间上最小化。我们提出了可扩展和高效的算法来解决这个功能性双层优化问题，并且通过在仪器回归和强化学习任务上展示了我们方法的优点。
- 均匀随机权重生成非均匀偏差：典型插值神经网络泛化时具有狭窄的教师
通过证明，我们发现基于狭窄的 “教师神经网络” 存在时，随机的神经网络插值器通常具有很好的泛化能力。具体而言，我们显示出这种对神经网络参数化的 “平坦” 先验在神经网络函数上引发丰富的先验，这是由于神经网络结构中的冗余性引起的。特别是，这会 - 使用过参数化的浅层 ReLU 神经网络进行非参数回归
对于从某些光滑函数类中学习函数的任务，如果权重限制或正则化得当，超参数化神经网络可以实现最小极值收敛率 (加上对数因子)。
- 梯度饱和：神经网络的学习偏好
本文探讨超参数神经网络学习中的梯度下降现象，发现其在最小化交叉熵损失时可能只捕获部分特征，而导致特征的不平衡。作者提出了一种理论解释，并使用动力系统理论中的工具来证明给定训练数据的某些统计结构时可以预期这种情况。此外，作者还提出了一种新的正 - 弱梯度和强梯度方向：解释尺度下的记忆、推广和难度
本文通过对 ResNet，Inception 和 VGG 等模型的实验验证了相干梯度假设，并提出了具有可扩展性的抑制弱梯度方向的方法，这是首次令当代的监督学习提供令人信服的概括能力证据。
- 一层宽层后金字塔拓扑的深度网络全局收敛
针对深度神经网络的全局最小化问题，证明对于采用金字塔形拓扑结构，且只有第一层宽度为 N 的深度神经网络，可以找到和宽度多项式增长时相似的最小值。并且将该结果应用于 LeCun 的初始化方法，得到了单大宽度层的超参数要求为 N ^ 2 的结论 - 过参数化深度神经网络的凸优化表述
通过广义上名为神经元特征重新填充的技术，我们解决了分析训练后的深度神经网络的根本问题，并表明适当地表示时，过度参数化的深度神经网络固有地是凸性的，因此提供了解释深度神经网络实践成功的可靠理论依据.
- 超参数化神经网络中的隐式正则化
本文通过引入梯度间隙偏差和梯度偏转等统计量，从理论和实证角度研究了内隐正则化在 ReLU 神经网络中的运作方式，结果表明通过随机初始化和随机梯度下降的方式有效地控制网络输出，使其在样本之间直线插值且负责度较低。