ICMLMar, 2018

神经网络中超参数化的强大作用与二次激活函数

PDF
TL;DR本文研究了神经网络学习中超参数化的有效性，提出了一种使用局部搜索算法寻找全局最优解的方法，并使用 Rademacher 复杂性理论证明了在权重衰减的情况下，解决方案在数据采样自正态分布等正则分布的情况下也能很好地推广，同时还分析了具有二次激活函数和 n 个训练数据点的 k 个隐藏节点浅层网络的本质性质。
over-parametrizationneural networkslocal search algorithmsrademacher complexityloss function
发现论文，激发创造
  • 过度参数的浅层神经网络优化空间的理论洞见

    研究浅层神经网络在过参数化情况下，如何使用二次激活函数进行训练并找到全局最优解，结果表明此方法适用于具有任意输入 / 输出对的任何训练数据，并可使用各种本地搜索启发式方法高效地找到全局最优解。同时，对於差分激活函数，我们也证明了梯度下降法在得到合适的初值后可以以线性速度收敛到全局最优解，它的输入来自符合高斯分布的选定属性且标记是通过种植的重量系数生成的。

    Jul, 2017

  • 迈向适度的过度参数化：为训练浅层神经网络提供全局收敛保证

    本文探讨了神经网络的过度参数化现象对于梯度下降收敛至全域最优解所需的程度及类型，并结合实验结果以浅层神经网络和平滑激活函数为例，证明了只需参数数量高于数据集大小的平方根时，梯度下降随机初始化即可收敛至全域最优解。

    Feb, 2019

  • 浅层神经网络的次二次超参数化

    本文采用 Polyak-Lojasiewicz 条件和随机矩阵理论，提供了一个分析框架，允许我们在基本浅层神经网络中同时训练所有层并达到网络宽度的理想亚二次标度。

    Nov, 2021

  • 超参数神经网络中的学习和泛化：超越两层

    本文通过分析神经网络在超参数化情况下的学习理论，证明了神经网络能够通过 SGD 算法简单地学习某些重要的概念并且样本复杂度几乎独立于网络参数的数量。此外，本文还建立了一个神经网络的二次近似概念，并将其与如何逃离鞍点的 SGD 理论联系起来。

    Nov, 2018

  • 浅层 ReLU 神经网络的过度参数化对优化空间的影响

    本文研究了 ReLU 神经网络中的过度参数化对优化景观的影响，证明了当教师和学生网络拥有相同数量的神经元时，目标函数在全局最小值周围具有强凸性，但在任何超参数化量之后甚至没有局部凸性，而对于大多数方向来说保持一点强凸性，并在此属性之下展示优化保证。

    Jun, 2020

  • 深度学习的超参数化收敛理论

    通过对大规模深层神经网络的优化方法的研究，我们证明了 SGD 可以在多项式时间内发现 DNNs 训练目标上的全局极小值。

    Nov, 2018

  • 在亚二次时间内训练多层过参数化神经网络

    本文提出了一种降低神经网络训练成本的框架，其中使用各种技术，包括基于 ReLU 的稀疏化器、低秩数据结构、矩形矩阵乘法、张量草图技术和预处理，实现每次迭代的真正次二次成本。

    Dec, 2021

  • 训练超参数化深度神经网络的改进分析

    本文提供了一种改进的分析方法来探究（随机）梯度下降训练深度神经网络的全局收敛，该方法比之前的研究工作以更加温和的过度参数化条件确定了问题相关参数的大小，包括更紧密的梯度下限和更清晰的算法轨迹路径描述。

    Jun, 2019

  • 量子神经网络过参数化理论

    量子神经网络中的超参数化现象会影响其参数数量与损失函数空间的精细度，我们证明了由 QNN 的生成器获取的李代数维度是超参数化的界限，当 M≥M_c 时，QNN 的训练效果大大提高，相关结果也适用于变分量子算法和量子优化控制。

    Sep, 2021

  • 超越线性化：关于宽神经网络的二次及高阶逼近

    该研究探讨了超参数化神经网络的训练，通过随机化神经网络，使其模型不再受限于 NTK，允许其与二次模型进行耦合，并且证明了产生的随机网络的优化具有良好的局面性态，且样本复杂度与 NTK 相匹配，同时在分布特定条件下可更为优秀。

    Oct, 2019