May, 2019

关于学习超参数化神经网络的函数逼近视角

PDF
TL;DR研究了使用梯度下降法在过度参数化的双层神经网络中训练，证明了在足够过度参数化的条件下，GD 方法可以近似地将振幅算子的幂应用于生成响应 / 标签的基础 / 目标函数 $f^*$，并且提供了使用低秩逼近来减少经验风险的线性速率的足够条件，介绍了适用于球面上的多项式的一般结果的应用
neural networksgradient descentover-parameterizationintegral operatorlow-rank approximation
发现论文，激发创造
  • 正则化很重要：关于过度参数化神经网络的非参数视角

    本文研究了超参数化神经网络在存在随机噪声的情况下恢复真实目标函数的能力，证明了采用 L2 正则化的神经网络与相应的神经切线核的核岭回归输出相似，并可以实现 L2 估计误差的最佳最小值，数值实验证实了该理论，同时表明 L2 正则化方法提高了训练的鲁棒性并适用于更广泛的神经网络。

    Jul, 2020

  • 超参数化的两层 ReLU 神经网络学习研究：从 NTK 出发

    本文研究采用梯度下降算法学习双层神经网络，证明其具有多项式样本和多项式时间复杂度，且可以学习到真实网络，而任何具有多项式样本的核方法均具有 Omega 误差下限。

    Jul, 2020

  • 学习超参数化深度 ReLU 网络的梯度下降泛化误差界

    通过算法依赖的综合误差界推导，论文解释了过度参数化的深度神经网络在合适的随机初始化下，使用梯度下降法可以获得任意小的泛化误差。

    Feb, 2019

  • 使用过参数化的浅层 ReLU 神经网络进行非参数回归

    对于从某些光滑函数类中学习函数的任务，如果权重限制或正则化得当，超参数化神经网络可以实现最小极值收敛率 (加上对数因子)。

    Jun, 2023

  • 超参数神经网络的梯度下降动力学

    本文通过 Lyapunov 分析，证明了使用梯度下降法训练过程中神经网络权重的动态会收敛到接近最小范数解的一个点，并通过实例表明这一结论的意义在于 GD 收敛于泛化性能好的预测函数，从而提供了 Arora 等人的普适性结果的另一证明。

    May, 2021

  • 深度学习的超参数化收敛理论

    通过对大规模深层神经网络的优化方法的研究，我们证明了 SGD 可以在多项式时间内发现 DNNs 训练目标上的全局极小值。

    Nov, 2018

  • 通过梯度下降学习具有一层 ReLU 的神经网络

    本文研究从标准高斯分布采样输入，从嘈杂的教师网络生成输出的一层隐藏神经网络的学习问题。研究分析了梯度下降在基于经验风险最小化的训练中的性能，并提供了算法相关的保证，证明了张量初始化后跟随梯度下降可以以线性速率收敛到地面真值参数，证明本文是第一个表征实际学习具有多个神经元的一层 ReLU 网络的恢复保证的工作。数值实验验证了我们的理论发现。

    Jun, 2018

  • SGD 学习过参数化的网络，并可应用于线性可分数据的证明泛化

    通过学习两层的过参数化神经网络在使用 Leaky ReLU 激活函数的情况下，为 SGD 进行了优化和泛化的保证，具有独立于网络规模的泛化保证。

    Oct, 2017

  • 深度 ReLU 网络学习所需的过度参数化程度是多少？

    本研究探讨了在过度参数化的深度神经网络中，当网络宽度大于训练样本大小和目标误差的高次多项式的倒数时，通过（随机）梯度下降学习的深度神经网络可以获得良好的优化和泛化性能。此外，我们还构建了深层 ReLU 网络的学习保证，使得网络宽度对 n 和 ϵ 的对数具有良好保证。

    Nov, 2019

  • （过参数化）神经网络的近线性时间训练

    该论文提出了一种基于随机线性代数的改进的二阶优化算法，重新解构了高斯牛顿迭代，使用快速 Johnson-Lindenstrauss 变换进行预处理，并使用一阶共轭梯度法得到足够好的近似解来训练 (moderately overparametrized) ReLU 网络，并且取得了快速训练的效果。

    Jun, 2020