关于训练循环神经网络的收敛速率

Oct, 2018

关于训练循环神经网络的收敛速率

On the Convergence Rate of Training Recurrent Neural Networks

Zeyuan Allen-Zhu, Yuanzhi Li, Zhao Song

TL;DR本文研究了如何在训练多层神经网络时，通过采用类局部搜索方法（如随机梯度下降）避免陷入不良局部最小值，在给定非凸非光滑结构的情况下，它们如何适应随机标签；研究了在神经网络中如何使用 ReLU 激活函数避免指数梯度爆炸或消失；通过构建扰动理论，该理论可用于分析 ReLU 激活的多层网络的一阶数学逼近。

Abstract

How can local-search methods such as stochastic gradient descent (SGD) avoid bad local minima in training multi-layer neural networks? Why can they fit random labels even given non-convex and non-smooth architect

stochastic gradient descent multi-layer neural networks recurrent neural networks relu activations perturbation theory

发现论文，激发创造

具有 ReLU 激活函数的双层神经网络的收敛性分析

本文分析了使用随机梯度下降（SGD）训练包含 ReLU 激活函数的两层前馈神经网络中所谓的 “恒等映射” 结构和高斯分布输入的情况下 SGD 收敛的机理，并通过实验证明使用该结构的多层神经网络具有比普通神经网络更好的性能。

May, 2017

深度学习的超参数化收敛理论

通过对大规模深层神经网络的优化方法的研究，我们证明了 SGD 可以在多项式时间内发现 DNNs 训练目标上的全局极小值。

Nov, 2018

随机梯度下降能否学习具有可证明泛化性的循环神经网络？

本文研究了 RNN 模型在 PAC 学习语言中所能学习的概念类别以及如何通过渐进多项式时间和样本复杂度来有效地学习一些显著的概念类别，例如使用平滑的双层神经网络从不同的输入信息生成各自的输出信息。

Feb, 2019

关于训练深层线性 ResNets 的全局收敛性

本研究讨论使用梯度下降和随机梯度下降算法进行训练具有 $L$ 层隐藏层的线性残差神经网络（ResNets）所需的网络宽度和线性变换；并且证明了在特定的线性变换和零初始化条件下，GD 和 SGD 算法能够收敛到最小训练误差的全局最小值。

Mar, 2020

两层神经网络格势的均场视角

本论文在研究多层神经网络的优化问题，发现随机梯度下降算法会收敛到一个全局最优点，且这一点具有很好的泛化能力。结果表明，适当的尺度下，随机梯度下降动态可以通过某个非线性偏微分方程捕捉，从而证明了 SGD 的收敛性。

Apr, 2018

递归神经网络的梯度下降的收敛性：非渐近分析

我们分析了在有监督学习环境下使用梯度下降法训练的递归神经网络在动态系统中的表现，并证明了在没有大量过参数化的情况下，梯度下降法可以实现最优性。我们深入的非渐近分析 (i) 以序列长度 $T$、样本大小 $n$ 和环境维度 $d$ 为条件给出了网络大小 $m$ 和迭代复杂性 $ au$ 的精确界限，(ii) 显示了动态系统中长期依赖对收敛性和以激活函数的李普希茨连续性界限所刻画的网络宽度界限的显著影响，该界限依赖于激活函数的李普希茨连续性。值得注意的是，这个分析揭示了一个适当初始化的使用 $n$ 个样本进行训练的递归神经网络可以在网络大小 $m$ 的低次对数尺度下实现最优性。这与之前的工作形成鲜明对比，前者需要 $m$ 对 $n$ 的高阶多项式依赖来建立强正则条件。我们的结果基于对递归神经网络能够逼近和学习的动态系统类的明确描述，通过约束范数的传输映射，并且通过建立隐藏状态相对于可学习参数的局部平滑性属性来实现。

Feb, 2024

循环神经网络中学习更长记忆

本文介绍了一种用于解决长期依赖的神经网络结构 —— 循环神经网络，并通过对语言建模等实验得出其同 LSTM 网络有着类似的性能表现。

Dec, 2014

Adam 和随机梯度下降优化的全局最小值非收敛问题及人工神经网络训练中的局部最小值构建

在对使用 ReLU 和相关激活函数的浅层人工神经网络进行研究中，我们发现随机梯度下降（SGD）方法（如纯独立 SGD、动量 SGD、AdaGrad、RMSprop 和 Adam 优化器）高概率无法收敛到全局最小值，并证实了 ANN 训练问题的优化空间中存在具有不同风险值的局部最小值的分层结构。

Feb, 2024

使用扩散算法训练循环神经网络

本文提出了一种新的算法来训练递归神经网络，并将其与随机梯度下降进行了初步比较，结果表明该算法可以在更少的时代内实现与随机梯度下降相似的泛化准确性。该算法来源于与扩散方程相关的非凸优化理论，自然而然地产生了某些看似不相关的深度学习机制。

Jan, 2016

关于循环神经网络的可证泛化性

本文研究基于随机初始化的循环神经网络（RNN）的训练和泛化，提出了两个改进：1）无需归一化条件就能学习某些显著概念类的函数；2）能够学习输入序列的 N 元函数形式 f（β^T [X_{l_1},...,X_{l_N}]），该函数类别不属于可加分概念类，当其中某个 N 或者 l_0 较小时，f 能以接近于多项式级别的迭代次数和样本数进行学习。

Sep, 2021