Nov, 2018

深度和宽度对深度学习局部最优解的影响

PDF
TL;DR本文通过分析深度和宽度对局部极小值质量的影响，论证了在没有强烈的过参数化和简化假设的情况下，深度神经网络的局部极小值质量随着深度和宽度的增加而趋向于改善，并且在带有局部引导结构的深层非线性神经网络模型中，其局部最小值的值在理论上被证明不会比相应的经典机器学习模型的全局最优值差。
发现论文，激发创造
  • 深度不会导致糟糕的局部极小值

    本文研究深度学习中通过证明只有深度，没有非线性性质也不会产生坏局部极小值，由此大大简化了之前证明前馈深度线性神经网络所有局部极小值也是全局极小值的方法，并推广到了深度线性模型的平方误差函数以外的情形。

    Feb, 2017

  • 深度 CNN 的优化景观与表达能力

    研究了使用共享权重和最大池化层的实用深度卷积神经网络的损失景观和表现力，发现这些 CNN 在宽层处可以产生线性独立特征，研究了获得零训练误差的全局最小值所需的必要和充分条件，分析表明，深度和宽度都很重要，宽度可以使损失函数具有很好的性质。

    Oct, 2017

  • 神经网络训练中的局部极小值

    本文主要探讨了对于深度模型的错误表面进行特征化的兴趣，揭示在某些条件下，深度模型的局部最小值会影响模型训练的结果，需要额外的数据前提、初始化方案和 / 或模型类来支持全局最佳解的优化。

    Nov, 2016

  • 深且宽神经网络的损失曲面

    本文研究完全连接网络的优化问题，发现在具有金字塔结构、使用平方损失函数和分析激活函数的情况下，只要网络每层隐藏单元数大于训练点数，几乎所有的局部最小值都是全局最优解。

    Apr, 2017

  • 广而深的神经网络是否学习相同的内容？揭示不同宽度和深度下神经网络表示的变化

    本篇研究通过探究深度和宽度对模型隐藏表示的影响，发现一个特征块结构，这个结构是相对于训练集大小而言容量较大（更宽 / 更深）的模型中隐藏表示的一种保留和传播主要成分的方式。该发现对不同模型学习的特征有重要影响，其代表性的块结构对于每个模型来说是独一无二的。最后，我们分析了不同模型体系结构的输出预测，发现即使整体准确率相似，宽而深的模型也表现出不同类别之间鲜明的错误模式和差异。

    Oct, 2020

  • 深度学习中的鲁棒性：好（宽度），坏（深度）和丑陋（初始化）

    在深度神经网络中研究了平均鲁棒性概念，研究了宽度、深度和训练模式对其影响，并且针对不同的初始化方法证明了有助于和有害于鲁棒性的特性。

    Sep, 2022

  • 神经网络宽度对性能的好处：不良盆地的消失

    本文证明了从窄网络到宽网络的过渡存在一个相变，窄网络存在次优盆地（sub-optimal basins），而宽网络不存在。具体地，采用连续激活函数的一类宽网络损失曲面没有亚优盆地，但是对于宽度低于阈值的大类网络，存在不是全局最小值而是严格局部最小值的情况。

    Dec, 2018

  • 深度与非线性性在 ResNets 中不会产生不良局部极小值

    本文证明深度与非线性激活函数对于 ResNets 不存在坏局部最小值，且所有局部最小值的值都不会比相应的经典机器学习模型的全局最小值差，且保证可通过残差表示进一步改善，从而推进了深度学习的优化理论（但仅适用于 ResNets 而非其他网络结构）。

    Oct, 2018

  • 具任意损失函数的深度线性神经网络：所有的局部极小都是全局极小

    本研究考虑使用深度线性网络进行任意凸可微损失的最小化，证明了当隐藏层宽度大于等于输入层或输出层时，局部最小值等价于全局最小值，若损失函数为凸且 Lipschitz 连续但不可微，则深度线性网络可能存在次优解。

    Dec, 2017

  • 神经网络中激活函数的小非线性性会引起糟糕的局部最小值

    本研究探讨神经网络的损失面。结果表明，大多数情况下，即使对于具有最轻微的非线性的单隐藏层网络，经验风险也有伪局部最小值。我们对深线性网络的全局最优性进行了全面的表征，统一了这个主题上的其他结果。

    Feb, 2018