具有高斯输入的 ConvNet 的全局最优梯度下降

Feb, 2017

具有高斯输入的 ConvNet 的全局最优梯度下降

Globally Optimal Gradient Descent for a ConvNet with Gaussian Inputs

Alon Brutzkus, Amir Globerson

TL;DR在神经网络模型中，使用 Gradient descent 算法时，当输入分布满足高斯分布时，使用 Convolutional neural network 和 ReLU activations 的神经网络模型可以在多项式时间内收敛于全局最优点。但是，我们证明了这种情况下学习是 NP 完全问题。

Abstract

deep learning models are often successfully trained using gradient descent, despite the worst case hardness of the underlying non-convex optimization problem. The key question is then under what conditions can on

deep learning gradient descent neural net convolutional structure relu activation

发现论文，激发创造

梯度下降证明过参数化神经网络的最优化

本文研究表明，在神经网络中使用 ReLU 激活函数和随机初始化梯度下降法可以以全局线性收敛率收敛于全局最优解，其分析依赖于神经网络的超参数和随机初始化方式，这些经验也可能有助于分析深度网络等其他一阶方法。

Oct, 2018

ReLU 神经网络的凸松弛在多项式时间内近似全局最优

本文研究了采用权重衰减正则化的两层 ReLU 网络与其凸松弛之间的最优性差距，揭示了在随机训练数据情况下原问题与其松弛之间相对最优性差距可以通过 O (√log n) 的因子进行界定，且应用简单的算法可在多项式时间内解决原非凸问题，此外，在合理假设下，随机初始化参数的局部梯度方法几乎必定收敛于训练损失较低点，此结果相对现有结果而言具有指数级改进，并对解释局部梯度方法为何行之有效提供了新的见解。

Feb, 2024

随机梯度下降优化超参数化的深度 ReLU 网络

研究如何使用 ReLU 激活函数、梯度下降和随机梯度下降来训练深度神经网络，证明在一定条件下，充分的随机权重初始化能够让这些方法在超参数化的深层 ReLU 网络上达到全局最小值。

Nov, 2018

卷积滤波器何时易于学习？

通过随机梯度下降算法和 ReLU 激活函数，我们分析了卷积滤波器的收敛性。我们的研究不依赖于任何特定形式的输入分布，证明了基于梯度的算法在多项式时间内可以学习卷积滤波器，且收敛速度取决于输入分布的平滑度和卷积核的密度。此理论证明了深度神经网络中的两阶段学习率策略并提出了卷积滤波器的新的较弱恢复保证。

Sep, 2017

深度学习的超参数化收敛理论

通过对大规模深层神经网络的优化方法的研究，我们证明了 SGD 可以在多项式时间内发现 DNNs 训练目标上的全局极小值。

Nov, 2018

梯度下降找到深度神经网络的全局最小值

通过分析神经网络架构的格拉姆矩阵的结构，证明了梯度下降法在针对深度超参数神经网络 ResNet 的多项式时间内实现零训练损失，并且进一步将该分析扩展到了深度残差卷积神经网络并获得了类似的收敛结果。

Nov, 2018

通过梯度下降学习具有一层 ReLU 的神经网络

本文研究从标准高斯分布采样输入，从嘈杂的教师网络生成输出的一层隐藏神经网络的学习问题。研究分析了梯度下降在基于经验风险最小化的训练中的性能，并提供了算法相关的保证，证明了张量初始化后跟随梯度下降可以以线性速率收敛到地面真值参数，证明本文是第一个表征实际学习具有多个神经元的一层 ReLU 网络的恢复保证的工作。数值实验验证了我们的理论发现。

Jun, 2018

梯度下降法在实用规模的可推广深度神经网络中寻找全局最小值

我们在本文中理论上证明了，在实践中经常遇到的大小的非线性深度神经网络的所有层的非凸优化中，梯度下降法可以找到全局最小值。我们的理论仅需要实际过度参数化的程度，而不需要以前的理论。此外，我们证明了网络的大小呈线性增长是最优的速率，除非是对数因子。此外，训练保证的深度神经网络显示出在自然数据集中很好地泛化到未见过的测试样本，但不包括随机数据集。

Aug, 2019

深度神经网络的全局最优条件

该论文研究了使用平方误差损失函数的深度线性和非线性神经网络的误差景象。对于深度线性神经网络，研究者提出了必要和充分条件，以判断风险函数的一个临界点是否为全局最小值，并且这些条件提供了一种高效检查全局最优性的方法。论文还将这些结果扩展到深度非线性神经网络，并在更有限的函数空间设置中证明了类似的充分条件。

Jul, 2017

使用多核学习非重叠的卷积神经网络

本研究考虑具有多个内核的不重叠卷积神经网络的参数恢复，当输入服从高斯分布且样本量足够大时，对于大多数流行的激活函数，如 ReLU，Leaky ReLU，Squared ReLU，Sigmoid 和 Tanh，我们展示了该 CNN 的平方损失在全局最优附近的吸引盆中是局部强凸的，所需样本复杂度与输入维度成比例且多项式内核数量和参数的条件数，同时我们还展示了张量方法能够将参数初始化为局部强凸的区域，因此，对于大多数光滑的激活函数，张量初始化后的梯度下降保证在输入维度、精度对数和其他因素上是多项式数量级的时间内收敛到全局最优解。据我们所知，这是第一份提供具有多个内核的 CNN 的恢复保证的工作，其样本复杂度和计算复杂度都是多项式的。

Nov, 2017