在本文中，我们提供了对有限样本情况下相位恢复的局部景观的精细分析，旨在确定在高维情况下保证围绕全局最小值的良好局部景观所需的最小样本量。

Nov, 2023

本文通过实验和理论研究了神经网络的波动，发现高维神经网络的损失函数曲面具有多方向高正曲率、梯度下降具有狭窄、随机位于此曲面中不同位置处的超平面理论能够解释背后的机理。

Oct, 2019

本文探讨了基于梯度的算法，如梯度下降、随机梯度下降、其持续变体和 Langevin 算法如何浏览非凸损失景观及其在有限样本复杂度下能否达到最佳泛化误差问题。我们以高维相位恢复问题的损失景观为典型例子，证明了随机梯度下降算法可以在控制参数区域达到完美的泛化性能，而梯度下降算法则不能。我们还运用动力学均场理论从统计物理学的角度分析了这些算法在连续时间、以热启动方式和大系统规模下的全部轨迹，并揭示了景观和算法的若干有趣特性，如梯度下降算法可以从更少的初始信息获得更好的泛化性能。

Mar, 2021

本文旨在证明高维度空间中定义的某些非凸函数有一个只包含其临界点大部分的数值狭窄区间的存在，并通过对 MNIST 数据集中的师生网络的实验观察得出了类似的结论，并发现梯度下降和随机梯度下降方法可以在相同步数内达到此水平。

Dec, 2014

本论文探究了损失海森矩阵在多项分类任务中的演化，以了解损失曲率对训练动态的影响。结果表明，成功的模型和超参数选择能够使早期的优化轨迹避免或穿越高曲率区域并进入扁平区域，提高学习率稳定性，类似于各种训练不稳定性缓解策略最终解决神经网络优化的相同失效模式，即差的条件。

Oct, 2021

本文探讨了梯度下降在高维中非凸优化领域的应用，通过对浅层网络和窄网络的研究分析了其在全局收敛和局部最小值上的不同表现，研究了随机梯度下降的高维度动态学习中学习率、时间尺度和隐藏单元数量之间的相互作用，并提供了统计物理学中基于确定性描述的 SGD 收敛速率的扩展分析。

Feb, 2022

我们研究了常见损失曲面的性质，并针对深度学习，通过 Hessian 矩阵的谱将其分为两个部分，并证明了 Sagun 等人所述的猜想。我们的观察结果对高维度的非凸优化具有重要意义，并提出了新的基于超参数冗余的几何角度视角。

Jun, 2017

该论文介绍了一种数学分析方法，针对鲁棒子空间恢复的非凸能量景观，证明了一个基于数据集固定条件的子空间是惟一的稳定点和一个特定范围内的局部极小值。研究还表明，如果该确定的条件满足，一种沿着 Grassmann 流形的测地线梯度下降方法可以在适当初始化的情况下完全恢复基础子空间。此外，当在一些数据模型上验证了它的实用性后，该方法可以在不同的样本大小和环境维度的不同情况下实现几乎最先进的恢复保证。

Jun, 2017

本文研究了使用梯度下降法（Wirtinger flow）求解二次方程组的问题，特别是相位恢复问题，证明了在高斯设计下，使用基本的梯度下降法可在 O (log n+log (1/ε)) 次迭代中给出接近最小化采样复杂度的 Epsilon - 精确解，而不需要特别设计的初始值、采样分裂或复杂的鞍点逃逸方案。

Mar, 2018

本文研究机器学习中的损失函数问题，发现黑洞的熵与网络中的损失函数形成类似的能量景观，提供微观描述黑洞的潜在能量景观，估算随机梯度下降能找到大部分的极小值。

Jun, 2023