Nov, 2024

梯度下降在非参数回归中找到具有尖锐泛化的过参数化神经网络：一种无分布分析

HTML
PDF
TL;DR本研究探讨了通过过参数化的两层神经网络进行非参数回归的问题，提出了在梯度下降下提前停止训练的条件下，网络可以实现与经典核回归相同的风险率$\cO(\eps_n^2)$，且这一结果不依赖于训练数据的分布假设。这一发现填补了传统核回归模型与过参数化有限宽神经网络之间的理论空白，为非参数回归研究提供了重要的理论支持。
发现论文，激发创造
  • 超参数神经网络中的学习和泛化：超越两层

    本文通过分析神经网络在超参数化情况下的学习理论，证明了神经网络能够通过SGD算法简单地学习某些重要的概念并且样本复杂度几乎独立于网络参数的数量。此外，本文还建立了一个神经网络的二次近似概念，并将其与如何逃离鞍点的SGD理论联系起来。

    Nov, 2018

  • 过度参数化的非线性学习: 梯度下降是否走过了最短路径?

    该论文讨论在数据过度参数化时，第一阶段优化方案（如随机梯度下降）的性质。作者发现，当损失函数在初始点的最小邻域内具有某些属性时，迭代会以几何速率收敛于全局最优解，会以接近直接的路线从初始点到达全局最优解，其中，通过引入一个新的潜力函数来作为证明技术的一部分。对于随机梯度下降（SGD），作者开发了新的鞅技巧，以保证 SGD 绝不会离开初始化的小邻域。

    Dec, 2018

  • 迈向适度的过度参数化: 为训练浅层神经网络提供全局收敛保证

    本文探讨了神经网络的过度参数化现象对于梯度下降收敛至全域最优解所需的程度及类型，并结合实验结果以浅层神经网络和平滑激活函数为例，证明了只需参数数量高于数据集大小的平方根时，梯度下降随机初始化即可收敛至全域最优解。

    Feb, 2019

  • 训练超参数化深度神经网络的改进分析

    本文提供了一种改进的分析方法来探究（随机）梯度下降训练深度神经网络的全局收敛，该方法比之前的研究工作以更加温和的过度参数化条件确定了问题相关参数的大小，包括更紧密的梯度下限和更清晰的算法轨迹路径描述。

    Jun, 2019

  • 过参数非线性系统和神经网络中的损失景观和优化

    本文提出了一种现代观点和一般性的数学框架，用于涵盖超参数机器学习模型和非线性方程组的损失景观和高效优化，其中包括超参数深度神经网络，并说明这些系统的PL$^*$条件密切相关，这解释了（S）GD对全局最小值的收敛，并提出了一个放松PL$^*$条件的方法可应用于几乎超参数系统。

    Feb, 2020

  • 正则化很重要：关于过度参数化神经网络的非参数视角

    本文研究了超参数化神经网络在存在随机噪声的情况下恢复真实目标函数的能力，证明了采用 L2 正则化的神经网络与相应的神经切线核的核岭回归输出相似，并可以实现 L2 估计误差的最佳最小值，数值实验证实了该理论，同时表明 L2 正则化方法提高了训练的鲁棒性并适用于更广泛的神经网络。

    Jul, 2020

  • 高维神经切向核: 三倍下降与广义化的多尺度理论

    深度学习模型参数通常大于所需，然而其测试误差在过拟合阈值附近有极值和下降，在过参数化区间反而下降，神经切向核模型可以提供有关真实神经网络的细节。

    Aug, 2020

  • 使用过参数化的浅层ReLU神经网络进行非参数回归

    对于从某些光滑函数类中学习函数的任务，如果权重限制或正则化得当，超参数化神经网络可以实现最小极值收敛率(加上对数因子)。

    Jun, 2023

  • 预条件共轭梯度递归发现具有尖锐概括性的过度参数化神经网络用于非参数回归

    我们考虑使用梯度下降或其变种训练过度参数化的二层神经网络进行非参数回归，并证明了在神经网络使用经典梯度下降方法配合早停止训练时，当目标函数具有在深度学习文献中广泛研究的谱偏差时，训练后的网络提供了更尖锐的广义界限，具有最小化的最优速率。

    Jul, 2024

  • 梯度下降发现超参数化神经网络在无参数回归中的尖锐泛化：一种无分布假设的分析

    本研究解决了超参数化两层神经网络在无参数回归中的训练问题，提出了一种无分布假设的分析框架。研究结果表明，使用梯度下降法及早停止训练的神经网络可实现与经典核回归相同的无参数回归风险收敛速率，并填补了经典核回归模型与超参数化神经网络之间的理论空白。这一发现对机器学习中的无参数方法提供了重要的理论支持。

    Nov, 2024