IJCAIJun, 2020

跳连接是否可证明改善神经网络损失函数的梯度图景？

PDF
TL;DR本文通过理论证明，展示了深度学习中残差网络加入跳跃连接可以控制子级集的连接性，且在二层 ReLU 网络的全局最小值以下的任何局部最小值将是非常 “浅” 的，其 “深度” 最多为 O (m^[（η-1）/n])，从而解释了跳跃连接在深度学习中的有效性。
发现论文，激发创造
  • 规范化保存：为什么残差网络可以变得非常深？

    这份研究分析了 ResNet 的跳跃连接的效应，并提出了新理论结果，证明残差块中的跳跃连接方便保留梯度的范数，并导致稳定的反向传播，这是从优化的角度来看是可取的。研究还提出了一种新方法，Procrustes ResNets，来优化 ResNet 的过渡层，使其范数保持得更好。这些结果可以用来训练更深的网络，并启发新的深层网络架构。

    May, 2018

  • 使用层归一化重新思考 Transformer 和 ResNet 中的跳跃连接

    研究了跳跃连接技术中规模因子对其效率的影响，提出了递归应用带有层归一化的跳跃连接技术可以显著提高性能并在各种任务包括机器翻译和图像分类技术中具有很好的普适性。

    May, 2021

  • 半整流网络优化的拓扑和几何

    本文研究深度神经网络优化问题中的高维非凸性质，通过对数据分布和模型进行分析得出深度线性网络与半修正网络拓扑结构差异明显、非线性问题基于数据分布平滑程度和模型过度参数化的相互影响，通过证明半修正单层网络的渐进连通性，以及通过分析水平面的几何特征来研究梯度下降的调节。实验结果显示，虽然吸引子很小，但这些水平面在所有的学习阶段都保持连通。

    Nov, 2016

  • 跳跃连接消除奇异点

    研究探讨了 skip connection 对深层网络训练中的奇异点造成的影响，证明了 skip connection 可以消除这些奇异点，并在实验中得到了验证。

    Jan, 2017

  • 添加一个神经元可以消除所有不良局部极小值

    本研究旨在探讨神经网络中非凸损失函数的分析难点，通过添加具有跳跃连接的特殊神经元或每层添加一个特殊神经元，证明了在温和的条件下，每个局部最小值都是全局最小值。

    May, 2018

  • 将跳过连接模型重新构思为可学习的马尔可夫链

    本文提出了可学习的马尔科夫链理论来解释残差神经网络中跳跃连接的行为，并通过引入罚式连接来使模型更加高效。实验结果表明，该方法在多模式翻译和图像识别任务中有着优异的表现。

    Sep, 2022

  • 深层 ResNets 是否能被证明比线性预测器更好？

    本研究利用几何条件证明了多跳连接可以改善优化过程中的局部极小值问题，并证明了在 ResNet 的优化空间中的任何关键点要么优于最佳线性预测器，要么其 Hessian 矩阵有严格负的特征值。同时，我们还证明了深度残差网络的 “接近恒等区域” 的深度无关上界。

    Jul, 2019

  • 神经网络中激活函数的小非线性性会引起糟糕的局部最小值

    本研究探讨神经网络的损失面。结果表明，大多数情况下，即使对于具有最轻微的非线性的单隐藏层网络，经验风险也有伪局部最小值。我们对深线性网络的全局最优性进行了全面的表征，统一了这个主题上的其他结果。

    Feb, 2018

  • 深度学习中的连通子水平集

    该研究表明，具有分段线性激活函数的一类深度超参数神经网络的每个子级别集都是连通且无界的，从而意味着该损失函数没有不良的局部最小值，并且所有的全局最小值都位于唯一且可能非常大的全局最优解中。

    Jan, 2019

  • 神经网络的损失函数可视化

    本文通过可视化方法探讨神经网络损失函数的结构和损失景观对泛化的影响，提出了一种简单的 “滤波器归一化” 方法来可视化损失函数曲率并对损失函数进行有意义的比较。然后，利用各种可视化方法，探索网络结构如何影响损失景观，以及训练参数如何影响最小化器的形状。

    Dec, 2017