Dec, 2018

神经网络宽度对性能的好处：不良盆地的消失

PDF
TL;DR本文证明了从窄网络到宽网络的过渡存在一个相变，窄网络存在次优盆地（sub-optimal basins），而宽网络不存在。具体地，采用连续激活函数的一类宽网络损失曲面没有亚优盆地，但是对于宽度低于阈值的大类网络，存在不是全局最小值而是严格局部最小值的情况。
wide networksoptimization landscapesub-optimal basinslocal minimumphase transition
发现论文，激发创造
  • 特征学习网络在现实规模下的宽度一致性

    研究神经网络的宽度对特征学习动态的影响，探究网络结构，内部表示，预激活分布，稳定现象的一致性，以及相应的有限宽度偏差和频谱视角。

    May, 2023

  • 更宽的网络学习更好的特征

    研究发现，对于新任务的神经网络，学习特征的可转移性可以大幅减少训练成本；通过使用激活图谱技术研究网络宽度对学习特征的影响，并表明增加网络宽度可以显著提高针对新任务的性能表现。

    Sep, 2019

  • 超参数神经网络中初始流域的质量

    本文探讨了在 ReLU 神经网络中，通过随机初始化的方式初始参数，研究与之相关的非凸优化函数的几何结构，寻找全局最小点和小的最小目标价值。结果表明，相较于小型神经网络，大型神经网络更容易满足这些性质。

    Nov, 2015

  • 深且宽神经网络的损失曲面

    本文研究完全连接网络的优化问题，发现在具有金字塔结构、使用平方损失函数和分析激活函数的情况下，只要网络每层隐藏单元数大于训练点数，几乎所有的局部最小值都是全局最优解。

    Apr, 2017

  • 神经网络的表达能力：基于宽度的视角

    本文研究神经网络的宽度对其表达能力的影响，证明了 width-$(n+4)$ ReLU 神经网络是一种通用逼近器，同时存在一些无法用宽度为 $n$ 的神经网络进行逼近的函数，表现出相变现象，结果展示了深度对 ReLU 网络的表达能力比宽度更为有效。

    Sep, 2017

  • 深度和宽度对深度学习局部最优解的影响

    本文通过分析深度和宽度对局部极小值质量的影响，论证了在没有强烈的过参数化和简化假设的情况下，深度神经网络的局部极小值质量随着深度和宽度的增加而趋向于改善，并且在带有局部引导结构的深层非线性神经网络模型中，其局部最小值的值在理论上被证明不会比相应的经典机器学习模型的全局最优值差。

    Nov, 2018

  • 任意深度的宽神经网络在梯度下降下演化为线性模型

    本文研究神经网络的学习和泛化性能，发现对于宽神经网络，学习动态变得简单，并且在无限宽度的极限下，它们由网络初始参数的一阶泰勒展开得到的线性模型控制。同时，通过在广义上拟合高斯过程的理论，揭示了神经网络可能表现出高斯过程的特性。

    Feb, 2019

  • 深度 CNN 的优化景观与表达能力

    研究了使用共享权重和最大池化层的实用深度卷积神经网络的损失景观和表现力，发现这些 CNN 在宽层处可以产生线性独立特征，研究了获得零训练误差的全局最小值所需的必要和充分条件，分析表明，深度和宽度都很重要，宽度可以使损失函数具有很好的性质。

    Oct, 2017

  • 广而深的神经网络是否学习相同的内容？揭示不同宽度和深度下神经网络表示的变化

    本篇研究通过探究深度和宽度对模型隐藏表示的影响，发现一个特征块结构，这个结构是相对于训练集大小而言容量较大（更宽 / 更深）的模型中隐藏表示的一种保留和传播主要成分的方式。该发现对不同模型学习的特征有重要影响，其代表性的块结构对于每个模型来说是独一无二的。最后，我们分析了不同模型体系结构的输出预测，发现即使整体准确率相似，宽而深的模型也表现出不同类别之间鲜明的错误模式和差异。

    Oct, 2020

  • 关于连续学习中宽度递减收益的研究

    深度神经网络在各种环境中表现出前沿的性能，但在按顺序训练新任务时往往会出现 “灾难性遗忘”。本研究设计了一个框架来分析连续学习理论，并证明网络宽度与遗忘之间存在直接关系。具体而言，我们证明增加网络宽度以减少遗忘产生递减的效果，我们在以前的研究中未曾探索过的宽度范围上通过实验证实了我们理论的预测，清晰地观察到这种递减效果。

    Mar, 2024