Oct, 2019

纯与伪的临界点：线性网络的几何研究

PDF
TL;DR本文研究神经网络的损失函数，通过对其函数空间和权重参数化的几何性质进行自然区分，提出了纯关键点和虚假关键点的概念，并应用于线性神经网络的损失函数。通过利用行列式变量的几何属性，得到了不同损失函数和不同参数化的线性网络的新结果。发现如果网络能够表达所有的线性映射，则其损失函数的地形中不存在坏的局部极小值点；否则，只有当网络的功能空间是行列式变量集时，此时二次损失才不存在坏的局部极小值点。
发现论文，激发创造
  • 神经网络的临界点：解析形式与景观特性

    本研究提供了正方形损失函数的所有临界点（以及全局优化器）的解析形式的全面（必要和充分）表征，展示了实现全球最小值的必要和充分条件，并通过极小值的分析形式表征了神经网络的损失函数的景观特性。

    Oct, 2017

  • 线性卷积网络的函数空间和临界点

    本文研究了带有一维卷积层的线性网络的几何学问题，描述了网络的体系结构对函数空间的维度、边界和奇异点的影响，并研究了训练带有平方误差损失的网络的优化问题和网络参数化映射的关键点。

    Apr, 2023

  • 超参数神经网络中的损失景观几何：对称性和不变性

    本文通过组合分析的方式，对超参数化神经网络中对称引起的关键点进行了探讨，发现这些关键点生成的正则流形在 mildly overparameterized regime 时占优，但是当 vastly overparameterized regime 时，亚线性关键点数量的组合爆炸会占据优势。最终得出一个数学公式来计算关键点数量。

    May, 2021

  • 双层神经网络优化景观中的虚假峰谷

    本文主要研究神经网络中存在的局部极小值问题。针对两层神经网络，定义了其固有维度，并证明了有限的固有维度保证了超参数化的模型不存在局部极小值，而无限的固有维度意味着在某些数据分布下必然存在局部极小值。此外，尽管在一般情况下可能存在局部极小值，但其出现在低风险水平，并高概率地避免在超参数化的模型上。

    Feb, 2018

  • 多层网络的损失曲面

    本文研究了全连接前馈神经网络的非凸损失函数与球形自旋玻璃模型哈密顿量之间的联系，并通过随机矩阵理论的结果来解释网络的复杂性和局部极小值的位置分布，利用计算机模拟和数学模型对结果进行了验证和验证。

    Nov, 2014

  • 远离基准解的虚假解缺席：低秩分析与高阶损失

    通过推导理论，证明矩阵感知问题中存在有利于优化的严格鞍点，从而解释了非凸优化中的复杂性，并介绍了高阶损失函数对远离真实矩阵的鞍点的影响，加速了逃离和解决非凸优化问题，为解决机器学习中的更广泛目标提供了一个综合框架。

    Mar, 2024

  • 深度网络中的权重空间对称性导致排列鞍点出现，在损失景观中通过等损谷相连

    该研究利用深度神经网络计算的几何方法，探讨网络层之间的置换对全局极小化及鞍点问题的影响及其数学意义。

    Jul, 2019

  • 神经损失景观的局部几何的新兴特性

    本文通过实验和理论研究了神经网络的波动，发现高维神经网络的损失函数曲面具有多方向高正曲率、梯度下降具有狭窄、随机位于此曲面中不同位置处的超平面理论能够解释背后的机理。

    Oct, 2019

  • 被困在哪里？重量空间探险

    本文研究了神经网络模型训练时的权重空间，探讨了收敛的表象与权重达到关键点的误解，并揭示了收敛往往是通过权重空间的大幅度平移实现的，这对于深度学习模型的训练具有重要启示。

    Feb, 2016

  • 半整流网络优化的拓扑和几何

    本文研究深度神经网络优化问题中的高维非凸性质，通过对数据分布和模型进行分析得出深度线性网络与半修正网络拓扑结构差异明显、非线性问题基于数据分布平滑程度和模型过度参数化的相互影响，通过证明半修正单层网络的渐进连通性，以及通过分析水平面的几何特征来研究梯度下降的调节。实验结果显示，虽然吸引子很小，但这些水平面在所有的学习阶段都保持连通。

    Nov, 2016