Jan, 2022

具有单神经元层的深度线性网络的全局收敛分析

PDF
TL;DR本文介绍了深度线性网络的非局部收敛分析，特别是考虑具有一个神经元层的深度线性网络，其收敛点在梯度流下产生的任意起点轨迹上，包括收敛到鞍点或原点之一的路径，本文通过扩展 Eftekhari 的工作，以可证明地标识稳定秩集和全局最小化收敛集来实现这些结果。
convergence analysisdeep linear networksgradient flowglobal minimizersaddle points
发现论文，激发创造
  • 深度线性神经网络梯度下降的收敛分析

    本文研究在白化数据上，通过梯度下降来训练深度线性神经网络收敛到全局最优点的速度。当隐藏层数的维度不小于输入输出维度的最小值，并且初始化的权重矩阵大致平衡且初始损失小于任何秩缺失解时，可保证线性收敛。此外，在输出维度为 1 的情况下，即标量回归，这些条件是满足的，并且在随机初始化方案下具有恒定的概率达到全局最优解。

    Oct, 2018

  • 神经网络中带全局收敛保证的特征学习

    该研究通过梯度流优化模型，研究宽神经网络中的特征学习和训练损失收敛问题，证明了一定条件下训练损失会以线性速率收敛于零，并展示了该模型的学习特性和推广能力。

    Apr, 2022

  • 关于隐式深度学习的理论：隐式层的全局收敛性

    本文基于深度平衡模型，分析其具有非凸目标函数和非线性权重矩阵的回归与分类问题的梯度动态，证明了在没有对模型宽度的任何假设的情况下会以线性速率收敛到全局最优解，同时关注了隐式层的隐式偏差和其与浅层显式层的动态的关系。

    Feb, 2021

  • 深度神经网络的全局最优条件

    该论文研究了使用平方误差损失函数的深度线性和非线性神经网络的误差景象。对于深度线性神经网络，研究者提出了必要和充分条件，以判断风险函数的一个临界点是否为全局最小值，并且这些条件提供了一种高效检查全局最优性的方法。论文还将这些结果扩展到深度非线性神经网络，并在更有限的函数空间设置中证明了类似的充分条件。

    Jul, 2017

  • 深度学习的超参数化收敛理论

    通过对大规模深层神经网络的优化方法的研究，我们证明了 SGD 可以在多项式时间内发现 DNNs 训练目标上的全局极小值。

    Nov, 2018

  • 深度学习中的方向收敛和对齐

    本文证明了通过梯度流学习方法得到的深层同质网络权重会趋向于收敛，并阐述了相应的研究内容，包括但不限于梯度流、分类损失、边缘最大化、显著图等方面。

    Jun, 2020

  • 具任意损失函数的深度线性神经网络：所有的局部极小都是全局极小

    本研究考虑使用深度线性网络进行任意凸可微损失的最小化，证明了当隐藏层宽度大于等于输入层或输出层时，局部最小值等价于全局最小值，若损失函数为凸且 Lipschitz 连续但不可微，则深度线性网络可能存在次优解。

    Dec, 2017

  • 深度网络中的泛化（IIIb 理论）

    该论文研究了深度神经网络中过拟合的问题，证明了使用特定的损失函数时神经网络的收敛性及性能，提出了一种实用的判断不同零最小化点泛化性能的方法。

    Jun, 2018

  • 训练超参数化深度神经网络的改进分析

    本文提供了一种改进的分析方法来探究（随机）梯度下降训练深度神经网络的全局收敛，该方法比之前的研究工作以更加温和的过度参数化条件确定了问题相关参数的大小，包括更紧密的梯度下限和更清晰的算法轨迹路径描述。

    Jun, 2019

  • 学习深度线性神经网络：黎曼梯度流与全局极小值的收敛

    本文研究了与从数据中学习深度线性神经网络（其中激活函数为恒等映射）相关的梯度流的收敛性，结果表明梯度流总是收敛于潜在函数的临界点。

    Oct, 2019