Jun, 2018

通过梯度下降学习具有一层ReLU的神经网络

HTML
PDF
TL;DR本文研究从标准高斯分布采样输入，从嘈杂的教师网络生成输出的一层隐藏神经网络的学习问题。研究分析了梯度下降在基于经验风险最小化的训练中的性能，并提供了算法相关的保证，证明了张量初始化后跟随梯度下降可以以线性速率收敛到地面真值参数，证明本文是第一个表征实际学习具有多个神经元的一层ReLU网络的恢复保证的工作。数值实验验证了我们的理论发现。
发现论文，激发创造
  • 一层隐藏层神经网络的恢复保证

    本文考虑使用单隐藏层神经网络模型去解决回归问题，探讨了激活函数的属性，比如ReLU、leaky ReLU、sigmoid等都满足局部强凸性。文中还提出了使用张量方法对参数进行初始化，并配合梯度下降算法使用来解决回归问题。最终达到了使用线性的输入维数和对数精度计算复杂度的样本复杂性和计算复杂性要求。

    Jun, 2017

  • 梯度下降学习一层卷积神经网络：不必担心虚假局部极小值

    研究了在卷积层和ReLU激活下的一层神经网络的学习问题，证明了随机初始化并使用归一化权重的梯度下降可以恢复真实参数，但存在虚假局部最小值，且该局部最小值在梯度下降的动力学中起到了重要作用。

    Dec, 2017

  • 线性可分数据上的ReLU网络学习：算法，最优性和泛化

    本文提出了一种新的随机梯度下降算法，利用随机噪声扰动，无需任何假设于数据分布、网络大小和训练集大小，就能够证明地达到单隐藏层ReLU网络的全局最优性，同时提出了一些一般的泛化保证，此外，数值测试结果也验证了算法和理论的实用性。

    Aug, 2018

  • 梯度下降证明过参数化神经网络的最优化

    本文研究表明，在神经网络中使用ReLU激活函数和随机初始化梯度下降法可以以全局线性收敛率收敛于全局最优解，其分析依赖于神经网络的超参数和随机初始化方式，这些经验也可能有助于分析深度网络等其他一阶方法。

    Oct, 2018

  • 随机梯度下降优化超参数化的深度ReLU网络

    研究如何使用ReLU激活函数、梯度下降和随机梯度下降来训练深度神经网络，证明在一定条件下，充分的随机权重初始化能够让这些方法在超参数化的深层ReLU网络上达到全局最小值。

    Nov, 2018

  • 关于均场极限下两层ReLU网络梯度下降训练的收敛性

    在均场模型下，用梯度下降训练双层ReLU网络时，我们描述了最小贝叶斯风险收敛的必要和充分条件。该条件不依赖于参数的初始化，只涉及神经网络实现的弱收敛，而不是其参数分布。

    May, 2020

  • 解析训练二层ReLU网络

    本文研究两层神经网络的ReLU激活函数和平方损失函数的优化方法，利用一种交替迭代算法寻找损失函数的关键点，实验结果显示该算法能够比随机梯度下降和Adam优化器更快、更准确地求解深度值，并且该方法没有调参困扰。

    Apr, 2023

  • 学习窄的一层ReLU网络

    我们提出了一个基于随机高阶矩张量收缩的多尺度算法，用于发现个别神经元。在学习由$k$个ReLU激活的线性组合方面，该算法是首个在多项式时间内成功的，而且无需额外假设网络的正系数或隐藏权重向量的矩阵具有良好的条件数。

    Apr, 2023

  • 浅层ReLU网络中最小稳定性的隐含偏差

    本文探讨使用随机梯度下降法训练具有ReLU网络的单隐藏层多元网络应用于二次损失下所得到解的性质，得到其Laplacian的类似结果。结果表明，当步长增大时，网络映射函数二阶导数有界性的界限变小，即使用更大的步长会导致更平稳的预测器，最后，本文证明了如果函数在Sobolev意义下足够平滑，则可以使用相应于梯度下降稳定解的ReLU浅层网络任意逼近。

    Jun, 2023

  • 单隐层ReLU网络的原理

    本研究针对单隐层神经网络的“黑箱”问题进行系统研究，提出了通用的函数逼近解决方案。理论与实验表明，针对一维输入的训练解决方案可以完全理解，而对于高维输入也能在一定程度上进行良好解释。这项工作为揭示两层ReLU网络的黑箱机制提供了重要基础，并推进了对深层ReLU网络的理解。

    Nov, 2024