Dec, 2023

二层 ReLU 网络中的隐藏最小值

PDF
TL;DR研究了拟合具有 $d$ 个输入、$k$ 个神经元和由目标网络生成的标签的两层 ReLU 网络的优化问题。通过研究隐藏极小值，发现了两类无穷族的最小值，每个 $d$ 和 $k$ 有一个最小值。第一类中的最小值的损失在 $d$ 增加时趋近于零，而第二类中的损失保持在零之外。为了避免属于第二类的最小值，我们发展了研究隐藏极小值的方法，对于损失函数应用的一般结果显示，从隐藏极小值出发的切线弧的结构和对称性有特征性的差异，这表明了分析的细微之处。理论结果表明，包括所有切线弧的集合在拓扑上足够平滑，允许切线弧的数值构建，并最终比较两类极小值相对于相邻临界点的位置。
two-layer relu networksoptimization problemhidden minimatangency arcso-minimal structures
发现论文，激发创造
  • 浅层 ReLU 模型中 Hessian 的分析特性：一段关于对称性的故事

    论文研究用两层 ReLU 神经网络中 Hessian 矩阵的对称性状结构及其在寻找拟最小值时的作用，指出 Hessian 矩阵的本征值存在极度不平衡的现象，为统计推广提供了重要参考。

    Aug, 2020

  • 两层 ReLU 神经网络中的虚假局部极小值普遍存在

    本文研究了如何通过过量参数方法减少 ReLU 神经网络中的假局部极小值问题，并通过集中度证明说明在高维输入空间中几乎所有有关大小的目标网络都会出现假局部极小值问题。

    Dec, 2017

  • 浅层 ReLU 网络中最小稳定性的隐含偏差

    本文探讨使用随机梯度下降法训练具有 ReLU 网络的单隐藏层多元网络应用于二次损失下所得到解的性质，得到其 Laplacian 的类似结果。结果表明，当步长增大时，网络映射函数二阶导数有界性的界限变小，即使用更大的步长会导致更平稳的预测器，最后，本文证明了如果函数在 Sobolev 意义下足够平滑，则可以使用相应于梯度下降稳定解的 ReLU 浅层网络任意逼近。

    Jun, 2023

  • 神经网络中激活函数的小非线性性会引起糟糕的局部最小值

    本研究探讨神经网络的损失面。结果表明，大多数情况下，即使对于具有最轻微的非线性的单隐藏层网络，经验风险也有伪局部最小值。我们对深线性网络的全局最优性进行了全面的表征，统一了这个主题上的其他结果。

    Feb, 2018

  • 稍微过参数的 ReLU 网络具有良好的损失景观

    研究了两层轻度超参数化 ReLU 神经网络对于平方误差丢失函数的一般有限输入数据集的损失景观，使用 Jacobean 的秩来界定局部和全局极小值集合的维度，并利用随机二进制矩阵的结果证明大多数激活模式对应于没有坏的可微局部极小值的参数区域。

    May, 2023

  • ReLU 网络的多线性结构

    通过谐波分析，证明了多数情况下，神经网络丧失了与具体雅可比的联系，只留下非可微的极小值，这是研究 ReLU 网络损失时的核心问题，因此需要使用非光滑分析技术来研究这些损失表面。

    Dec, 2017

  • 多元神经网络学习真实目标函数

    通过对具有 ReLU 激活函数的一层神经网络的分析，我们发现神经网络具有良好的优化特性，其具有多样的单元没有虚假局部最小值，在满足 “扩展特征矩阵” 的最小奇异值足够大的条件下，可以使损失函数变得任意小。

    Nov, 2016

  • 深度网络平坦极小值的独特特性

    研究表明，随机梯度下降有一个偏好于平滑最小值的隐含偏差。 本文研究发现，在具有二次损失的线性神经网络训练中，线性 ResNets 的零初始化必然收敛于所有最小值中最平滑的最小值，这些最小值对应着接近平衡网络。另外，相邻层的权重矩阵在平坦的极小值解中相互耦合，形成了从输入到输出的明显路径，该路径只用于体验端到端最大增益的信号。

    Feb, 2020

  • 具有 ReLU 激活函数的双层神经网络的收敛性分析

    本文分析了使用随机梯度下降（SGD）训练包含 ReLU 激活函数的两层前馈神经网络中所谓的 “恒等映射” 结构和高斯分布输入的情况下 SGD 收敛的机理，并通过实验证明使用该结构的多层神经网络具有比普通神经网络更好的性能。

    May, 2017

  • 解析训练二层 ReLU 网络

    本文研究两层神经网络的 ReLU 激活函数和平方损失函数的优化方法，利用一种交替迭代算法寻找损失函数的关键点，实验结果显示该算法能够比随机梯度下降和 Adam 优化器更快、更准确地求解深度值，并且该方法没有调参困扰。

    Apr, 2023