本研究发现梯度下降在稳定边缘状态下具有自我稳定性和隐式偏差，可以通过投影梯度下降来描述，并对其在训练过程中的损失、尖锐度和偏差进行了详细预测和验证。

Sep, 2022

通过实证研究，证明最大特征值（也被称为锐度）沿着梯度下降轨迹的演化呈现出一种叫做稳定边缘现象（EoS）的现象，进一步证明了在合适的重新参数化下，不同的梯度下降轨迹会在一个特定的分叉图上对齐，从而建立了锐度逐步增加和 EoS 现象的理论分析。

Jul, 2023

通过对一种简化的 2 层线性网络模型的分析，我们揭示了梯度下降动力学中锐度现象背后的机制，包括锐度降低、渐进锐化和稳定边缘等，该模型的预测在实际场景中也具有普遍适用性。

Nov, 2023

用指数欧拉求解器训练神经网络，以准确近似真实的梯度下降动态系统，证明了 Hessian 矩阵的锐度增加是由于网络的逐层 Jacobian 矩阵对齐导致的，而对齐程度与数据集大小呈幂律关系，相关性系数在 0.74 到 0.98 之间。

May, 2024

本文研究了大步长梯度下降的特性，证明二阶回归模型中存在一种逐渐趋于稳定的过程，这一过程不仅仅局限于神经网络等复杂的高维非线性模型中，这可能是一种离散学习算法。

Oct, 2022

最近的实验证明，使用梯度下降的神经网络在损失的 Hessian 算子范数增长到约等于 2 / 步长 η 后，就开始在该值周围波动。我们对 Sharpness-Aware Minimization（SAM）进行了类似的计算，得到了一个基于梯度范数的稳定边缘。通过三个深度学习训练任务的经验验证，我们发现 SAM 在该分析所确定的稳定边缘操作。

Sep, 2023

研究优化过程中深度神经网络中 Hessian 谱的演化对动力学的影响，发现对于非批归一化网络，谱中的大量孤立特征值以及聚集在相应特征空间中的梯度的快速出现将影响优化速度，而批归一化网络中这两种效应几乎不存在。

Jan, 2019

最近的实证研究发现，深度学习模型的一个有趣特性是通过优化过程中最大特征值（海森矩阵的最大特征值）逐渐增加，直到在关键值处稳定，此时优化器在稳定边缘操作，给定固定步长；我们通过实证研究了使用步长调节器（如 Armijo 线搜索和 Polyak 步长）时，尤其是隐含仅通过局部量（如 sharpness）调节步长的情况下，sharpness 的演化情况；我们发现 Armijo 线搜索经典的性能不佳可以通过其在全样本或大批量情况下不断增加目标函数 sharpness 来解释；另一方面，Polyak 步长通常在稳定边缘操作或略超出稳定边缘，而且胜过 Armijo 和常数步长；最后我们分析表明解锁步长调节器需要理解步长和 sharpness 的联合动态。

Nov, 2023

本研究通过实验证明神经网络训练目标的全批量梯度下降通常处于稳定性的边缘状态。在这种状态下，训练损失 Hessian 的最大特征值略高于数值 $2/ ext {(步长)}$，训练损失在短时间内呈现非单调行为，但在长时间尺度上保持下降态势。鉴于这种行为与优化领域中的一些传统观念不一致，我们的发现提出了关于这些观念是否与神经网络训练 relevant 的质疑。我们希望我们的研究能够激发未来针对稳定性边缘优化问题的进一步研究。

Feb, 2021

我们深入探讨了随机梯度下降（SGD）的线性稳定性与锐利度之间的关系，并介绍了一种损失海森矩阵的一致性度量，用于判断 SGD 在最优点处的线性不稳定性。

Jan, 2024