May, 2023

理解 ReLU 网络的多阶段优化动态和丰富非线性行为

PDF
TL;DR本研究通过对 ReLU 神经网络的训练过程进行理论性分析，揭示了从随机初始化到最终收敛的整个优化过程，并发现了四个不同阶段，显示了一个从简单到复杂的总体趋势，此外还可以精确地识别和捕捉特定的非线性行为，如初始凝结、鞍点到高原动态、平台逃逸、激活模式的变化、学习随着复杂度的增加等现象。
relu neural networkgradient flowoptimization dynamicsnonlinear phenomenatraining process
发现论文，激发创造
  • 无限宽度下的双层 ReLU 神经网络相图

    通过实验和理论方法，我们对两层 ReLU 神经网络在无限宽度极限下的动态状态及其与初始化超参数的依赖关系进行了完整表征，并绘制了相图。我们确定了相图中的三个区域：线性区、临界区和凝聚区，分别基于输入权重的相对变化。该相图将神经网络的训练行为及其隐式规范化的更系统性研究迈出了第一步。

    Jul, 2020

  • 使用标准化层训练的 ReLU 神经网络的优化理论

    本文研究了引入规范化层对神经网络的全局收敛速度和优化效果的影响，证明了在引入 Weight Normalization 后，具有 ReLU 激活函数的两层神经网络可以加速收敛。

    Jun, 2020

  • 解析训练二层 ReLU 网络

    本文研究两层神经网络的 ReLU 激活函数和平方损失函数的优化方法，利用一种交替迭代算法寻找损失函数的关键点，实验结果显示该算法能够比随机梯度下降和 Adam 优化器更快、更准确地求解深度值，并且该方法没有调参困扰。

    Apr, 2023

  • ReLU 网络的最优集合和解路径

    通过把非凸培训问题重新定义为凸程序，我们开发了一个分析框架来表征最佳 ReLU 神经网络的集合，并指出凸参数化的全局最优解是由一个多面体集合给出的。我们还扩展了这种特征，以获得非凸培训目标的最优集合。由于 ReLU 培训问题的所有静态点都可以表示为子采样凸计划的最优解，因此我们的工作为所有非凸目标的临界点提供了一个一般表达式。我们利用这些结果，提供了一种计算最小网络的最佳减枝算法，建立了 ReLU 网络正则化路径连续的条件，并开发了最小 ReLU 网络的灵敏度结果。

    May, 2023

  • 通过凸优化实现两层之外深度 ReLU 网络的全局最优

    本研究通过凸优化理论分析发现，ReLU 神经网络通过一种隐含的正则化机制实现高维特征选择，并证明了该等价凸问题可以通过标准凸优化求解器在多项式时间内全局优化。

    Oct, 2021

  • 浅层一元 ReLU 网络的梯度动力学

    本文介绍了在一个维度输入下，解决最小二乘插值的超参数化浅层 ReLU 网络的梯度动态的理论和实证研究，阐述了这种网络的梯度动态通过网络函数的非冗余参数化来确定，同时还研究了两种学习模式：核函数和自适应函数，以及它们所对应的性质。

    Jun, 2019

  • ReLU 网络的多线性结构

    通过谐波分析，证明了多数情况下，神经网络丧失了与具体雅可比的联系，只留下非可微的极小值，这是研究 ReLU 网络损失时的核心问题，因此需要使用非光滑分析技术来研究这些损失表面。

    Dec, 2017

  • 神经网络嵌入优化的 ReLU 激活函数线性化：最佳日前能源调度

    本文研究了针对常用的修正线性单元（ReLU）激活函数的线性化方法，为将神经网络模型与 ReLU 激活函数结合的优化问题提供了有效解决工具。

    Oct, 2023

  • 线性可分数据上的 ReLU 网络学习：算法，最优性和泛化

    本文提出了一种新的随机梯度下降算法，利用随机噪声扰动，无需任何假设于数据分布、网络大小和训练集大小，就能够证明地达到单隐藏层 ReLU 网络的全局最优性，同时提出了一些一般的泛化保证，此外，数值测试结果也验证了算法和理论的实用性。

    Aug, 2018

  • 深度网络线性区域的训练动态

    在这项研究中，我们研究了连续分段仿射深度网络（如带有（渗漏的）ReLU 非线性的网络）训练动态的输入空间划分或线性区域，提出了一种包含了本地复杂性的新统计量，观察到在训练过程中，数据点周围的本地复杂性经历了几个阶段，与深度网络的记忆性和概括性能密切相关。

    Oct, 2023