Nov, 2018

超参数神经网络中的学习和泛化：超越两层

PDF
TL;DR本文通过分析神经网络在超参数化情况下的学习理论，证明了神经网络能够通过 SGD 算法简单地学习某些重要的概念并且样本复杂度几乎独立于网络参数的数量。此外，本文还建立了一个神经网络的二次近似概念，并将其与如何逃离鞍点的 SGD 理论联系起来。
neural networksoverparameterizationlearning theorysgdsample complexity
发现论文，激发创造
  • SGD 学习过参数化的网络，并可应用于线性可分数据的证明泛化

    通过学习两层的过参数化神经网络在使用 Leaky ReLU 激活函数的情况下，为 SGD 进行了优化和泛化的保证，具有独立于网络规模的泛化保证。

    Oct, 2017

  • 超越线性化：关于宽神经网络的二次及高阶逼近

    该研究探讨了超参数化神经网络的训练，通过随机化神经网络，使其模型不再受限于 NTK，允许其与二次模型进行耦合，并且证明了产生的随机网络的优化具有良好的局面性态，且样本复杂度与 NTK 相匹配，同时在分布特定条件下可更为优秀。

    Oct, 2019

  • 通过结构化数据上的随机梯度下降学习超参数神经网络

    本文研究了使用随机梯度下降法从随机初始化开始学习两层超参数化 ReLU 神经网络以进行多类分类问题，证明了当数据来自于分离度高的混合分布时，SGD 学习到的网络具有较小的泛化误差，分析了学习神经网络的几个方面并在合成数据和 MNIST 数据集上进行了实证验证。

    Aug, 2018

  • 深度学习的超参数化收敛理论

    通过对大规模深层神经网络的优化方法的研究，我们证明了 SGD 可以在多项式时间内发现 DNNs 训练目标上的全局极小值。

    Nov, 2018

  • 过参数化的两层神经网络的优化与泛化的细粒度分析

    该论文分析了一个简单的 2 层 ReLU 网络的训练和泛化，通过对相关内核的特性进行追踪，提出了更紧致的训练速度特征描述和网络大小无关的泛化界限以及对梯度下降训练的广泛平滑函数可学性的证明。

    Jan, 2019

  • 过度参数的浅层神经网络优化空间的理论洞见

    研究浅层神经网络在过参数化情况下，如何使用二次激活函数进行训练并找到全局最优解，结果表明此方法适用于具有任意输入 / 输出对的任何训练数据，并可使用各种本地搜索启发式方法高效地找到全局最优解。同时，对於差分激活函数，我们也证明了梯度下降法在得到合适的初值后可以以线性速度收敛到全局最优解，它的输入来自符合高斯分布的选定属性且标记是通过种植的重量系数生成的。

    Jul, 2017

  • 几乎无过度参数化的神经网络学习和记忆

    本文研究了通过神经网络算法实现各种模型的多项式时间可学习性，证明了 SGD 在深度为二的神经网络上能够记忆样本、学习有界权重的多项式，以及学习某些内核空间，并且这些网络具有接近最优的网络大小、样本复杂度和运行时间。

    Nov, 2019

  • 超参数化的两层 ReLU 神经网络学习研究：从 NTK 出发

    本文研究采用梯度下降算法学习双层神经网络，证明其具有多项式样本和多项式时间复杂度，且可以学习到真实网络，而任何具有多项式样本的核方法均具有 Omega 误差下限。

    Jul, 2020

  • 关于过拟合两层神经切向核模型的泛化能力

    本文研究具有 ReLU 激活函数且没有偏差项的两层神经网络的神经切向核（NTK）模型的 min（L2）-norm 过拟合解的泛化性能，并显示随着神经元数目 p 的增加，测试误差表现出不同于具有简单傅里叶或高斯特征的过度参数化线性模型的 “双峰现象” 的特征。

    Mar, 2021

  • 过参数化神经网络的一致泛化界

    本文介绍了神经网络中过度参数化情况下的泛化误差及其相关的新理论，即神经切向核理论，通过该理论的信息获取量计算出学习问题的复杂度并证明了泛化误差的上界，同时讨论了该理论对于强化学习领域的应用。

    Sep, 2021