Aug, 2018

线性可分数据上的 ReLU 网络学习：算法，最优性和泛化

PDF
TL;DR本文提出了一种新的随机梯度下降算法，利用随机噪声扰动，无需任何假设于数据分布、网络大小和训练集大小，就能够证明地达到单隐藏层 ReLU 网络的全局最优性，同时提出了一些一般的泛化保证，此外，数值测试结果也验证了算法和理论的实用性。
relu networksstochastic gradient descentglobal optimalitygeneralization guaranteessample complexity
发现论文，激发创造
  • 通过梯度下降学习具有一层 ReLU 的神经网络

    本文研究从标准高斯分布采样输入，从嘈杂的教师网络生成输出的一层隐藏神经网络的学习问题。研究分析了梯度下降在基于经验风险最小化的训练中的性能，并提供了算法相关的保证，证明了张量初始化后跟随梯度下降可以以线性速率收敛到地面真值参数，证明本文是第一个表征实际学习具有多个神经元的一层 ReLU 网络的恢复保证的工作。数值实验验证了我们的理论发现。

    Jun, 2018

  • 随机梯度下降优化超参数化的深度 ReLU 网络

    研究如何使用 ReLU 激活函数、梯度下降和随机梯度下降来训练深度神经网络，证明在一定条件下，充分的随机权重初始化能够让这些方法在超参数化的深层 ReLU 网络上达到全局最小值。

    Nov, 2018

  • 使用修正线性单元理解深度神经网络

    本文研究使用带有 ReLU 的深度神经网络能够代表的函数家族，提供了一个训练一个 ReLU 深度神经网络的一种算法，同时提高了在将 ReLU 神经网络函数逼近为浅层 ReLU 网络时已知下限的上界，并证明了这些间隙定理。

    Nov, 2016

  • 使用线性教师研究神经网络中的学习

    本文证明了，通过 SGD 训练具有 Leaky ReLU 激活函数的两层神经网络，可以在全局最小化交叉熵的同时学习线性可分数据，且学习的网络具有较为简单的近似线性决策边界。同时，本文提出了一种可以发现权重聚类的优化条件，并通过实验证明了理论分析的正确性。

    Jan, 2021

  • 解析训练二层 ReLU 网络

    本文研究两层神经网络的 ReLU 激活函数和平方损失函数的优化方法，利用一种交替迭代算法寻找损失函数的关键点，实验结果显示该算法能够比随机梯度下降和 Adam 优化器更快、更准确地求解深度值，并且该方法没有调参困扰。

    Apr, 2023

  • 对近似正交数据的两层 ReLU 和 Leaky ReLU 网络的梯度下降的隐式偏差

    針對兩層完全連接的 (leaky) ReLU 神經網絡，研究梯度下降的隱含偏差，並證明梯度下降在訓練中會找到收斂於 1 的具有穩定排名的神經網絡，對於 ReLU 激活函數則收斂於一個上界常數，同時所有訓練數據點的標準化邊界漸進地相同。實驗結果對我們的理論結果進行了驗證。

    Oct, 2023

  • 学习 ReLU 网络以高均匀精度是不可解的

    本文中，我们在非线性神经网络学习问题上，通过精确量化每个训练算法所需的最小训练样本数量，以保证目标类中包含或由预定义结构的 ReLU 神经网络的高精度，从而证明了在非常一般的假设下，训练样本的最小数量随着网络结构的深度和输入维度呈指数级增长。

    May, 2022

  • SGD 学习过参数化的网络，并可应用于线性可分数据的证明泛化

    通过学习两层的过参数化神经网络在使用 Leaky ReLU 激活函数的情况下，为 SGD 进行了优化和泛化的保证，具有独立于网络规模的泛化保证。

    Oct, 2017

  • 在多项式时间内可靠地学习 ReLU

    本研究提出了有效学习基于 ReLU 的常深度网络的算法，该算法运用了核方法、多项式逼近和凸优化的 “双损失” 方法，同时获得了解决 “凸分段线性拟合” 和 “在单位球上低权重多项式的噪音重构” 等其他应用。

    Nov, 2016

  • 学习窄的一层 ReLU 网络

    我们提出了一个基于随机高阶矩张量收缩的多尺度算法，用于发现个别神经元。在学习由 $k$ 个 ReLU 激活的线性组合方面，该算法是首个在多项式时间内成功的，而且无需额外假设网络的正系数或隐藏权重向量的矩阵具有良好的条件数。

    Apr, 2023