ICMLApr, 2019

神经网络过度参数化对梯度混乱和随机梯度下降的影响

PDF
TL;DR本文研究神经网络架构如何影响训练速度，引入 “梯度混乱” 概念来分析。实验结果表明，增加神经网络宽度可以降低梯度混乱从而提高模型训练效率，而增加深度则会使训练效率降低。
发现论文，激发创造
  • 单隐藏层神经网络梯度流性质与线性激活函数的研究

    通过研究神经网络的超参数化和过拟合对梯度下降算法鲁棒性的影响，我们证明了过度参数化会引入伪平衡点，阻碍梯度下降算法的收敛。

    May, 2023

  • 迈向适度的过度参数化：为训练浅层神经网络提供全局收敛保证

    本文探讨了神经网络的过度参数化现象对于梯度下降收敛至全域最优解所需的程度及类型，并结合实验结果以浅层神经网络和平滑激活函数为例，证明了只需参数数量高于数据集大小的平方根时，梯度下降随机初始化即可收敛至全域最优解。

    Feb, 2019

  • 训练超参数化深度神经网络的改进分析

    本文提供了一种改进的分析方法来探究（随机）梯度下降训练深度神经网络的全局收敛，该方法比之前的研究工作以更加温和的过度参数化条件确定了问题相关参数的大小，包括更紧密的梯度下限和更清晰的算法轨迹路径描述。

    Jun, 2019

  • 网络宽度对随机梯度下降和泛化效果的影响：实证研究

    通过超参寻优与一系列不同的神经网络模型，我们探究了过度参数化情况下随机梯度下降最终调整到的参数状态，并发现优化算法的最优超参数取决于一项被规范化的噪声参数，其与网络宽度等因素有关，这对各种类型的神经网络均成立，对于 ResNets 这样的网络同样存在相似的趋势。

    May, 2019

  • 通过结构化数据上的随机梯度下降学习超参数神经网络

    本文研究了使用随机梯度下降法从随机初始化开始学习两层超参数化 ReLU 神经网络以进行多类分类问题，证明了当数据来自于分离度高的混合分布时，SGD 学习到的网络具有较小的泛化误差，分析了学习神经网络的几个方面并在合成数据和 MNIST 数据集上进行了实证验证。

    Aug, 2018

  • 超参数对神经网络 SGD 训练的影响

    大规模实验探索神经网络分类器的超参数及其交互作用。

    Aug, 2015

  • 重新思考泛化对于了解深度学习至关重要

    该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

    Nov, 2016

  • 深度学习的超参数化收敛理论

    通过对大规模深层神经网络的优化方法的研究，我们证明了 SGD 可以在多项式时间内发现 DNNs 训练目标上的全局极小值。

    Nov, 2018

  • 存在糟糕的全局最小值，并且 SGD 可以到达它们

    通过研究深度神经网络的显式正则化对随机梯度下降的作用，证实显式正则化对于高参数化的神经网络成功的贡献远比随机梯度下降方法更为重要。

    Jun, 2019

  • 深度神经网络优化轨迹上的盈亏平衡点

    本文探讨了随机梯度下降在神经网络早期训练阶段中的超参数，指出通过在初期采用大学习率可以减小梯度的方差和提高梯度的协方差矩阵的条件数，在超过 “盈亏平衡点” 之后，通过随机梯度下降法优化可以隐式地正则化损失曲面的曲率以及梯度中的噪声等问题，这对于神经网络的优化效果具有积极作用，研究这些影响对于泛化性能的影响是一个有前途的研究方向。

    Feb, 2020