Nov, 2023

通过感知机的最小范数插值：显式正则化和隐式偏差

PDF
TL;DR研究在使用 ReLU 网络时，通过对已知区域进行插值，证明了经验风险最小化器在数据点和参数数目趋向无穷大时收敛到最小范数插值者，当且仅当对应于网络宽度和数据点增长的特定速率消失时对权重衰减正则化项进行惩罚，在显式和隐式正则化情况下，数值方法研究了常见优化算法对已知最小范数插值者的隐含偏好。
发现论文，激发创造
  • 使用浅层单变量 ReLU 网络的噪声插值学习

    研究了使用最小范数两层 ReLU 网络进行有噪单变量回归时的渐近过拟合行为，发现对于 L1 损失和 p<2 的任何 Lp 损失缓解了过拟合，但对于 p≥2 却是灾难性的。

    Jul, 2023

  • 通过浅层 ReLU 网络学习神经元：相关输入的动力学和隐式偏置

    通过训练一个从一个小初始值开始的任意宽度的一层 ReLU 神经网络来证明，对于学习单个神经元的基本回归任务，该网络能收敛于零损失并隐含有利于最小化网络参数秩的偏见。

    Jun, 2023

  • 使用过参数化的浅层 ReLU 神经网络进行非参数回归

    对于从某些光滑函数类中学习函数的任务，如果权重限制或正则化得当，超参数化神经网络可以实现最小极值收敛率 (加上对数因子)。

    Jun, 2023

  • 通过权重归一化实现强大的隐式正则化

    本文研究了使用梯度下降与权重归一化进行训练的经过参数化的模型所具有的内在偏向性，并证明了权重归一化的方法可以在对角线性模型中具有稀疏解的内在偏向性。

    May, 2023

  • 由 Ornstein-Uhlenbeck 过程驱动的深度神经网络的隐式正则化

    研究采用随机梯度下降法训练的神经网络，通过对每一次迭代的训练标签进行独立噪声扰动，得到一个隐式正则化项，从而驱动网络向简单模型发展，并以矩阵感知、一维数据下的两层 ReLU 网络训练以及单数据点下的两层 sigmoid 激活网络训练等三个简单场景进行了阐述。

    Apr, 2019

  • 超参数化神经网络中的隐式正则化

    本文通过引入梯度间隙偏差和梯度偏转等统计量，从理论和实证角度研究了内隐正则化在 ReLU 神经网络中的运作方式，结果表明通过随机初始化和随机梯度下降的方式有效地控制网络输出，使其在样本之间直线插值且负责度较低。

    Mar, 2019

  • 浅层 ReLU 网络中最小稳定性的隐含偏差

    本文探讨使用随机梯度下降法训练具有 ReLU 网络的单隐藏层多元网络应用于二次损失下所得到解的性质，得到其 Laplacian 的类似结果。结果表明，当步长增大时，网络映射函数二阶导数有界性的界限变小，即使用更大的步长会导致更平稳的预测器，最后，本文证明了如果函数在 Sobolev 意义下足够平滑，则可以使用相应于梯度下降稳定解的 ReLU 浅层网络任意逼近。

    Jun, 2023

  • 浅层一元 ReLU 网络的梯度动力学

    本文介绍了在一个维度输入下，解决最小二乘插值的超参数化浅层 ReLU 网络的梯度动态的理论和实证研究，阐述了这种网络的梯度动态通过网络函数的非冗余参数化来确定，同时还研究了两种学习模式：核函数和自适应函数，以及它们所对应的性质。

    Jun, 2019

  • 深度线性网络在浅层网络无法时可能出现良性过拟合

    本研究针对使用梯度流训练的深度线性网络的过度风险进行了边界限制，发现与最小 l2 范数插值的已知边界非常接近或者相等，深度并不能提高算法隐藏噪声的能力，并通过模拟数据验证了该边界的典型行为。

    Sep, 2022

  • 具有有界权重范数的多通道线性卷积网络的归纳偏置

    本研究通过实验对基于梯度下降的线性和 ReLU 网络的隐式正则化进行了探讨，并提供了卷积神经网络，$\ell_2$ 规范、归纳偏置、规范化器和梯度下降等方面的理论研究。

    Feb, 2021