May, 2024

用于建模 SGD 的 Hessian 感知随机微分方程

PDF
TL;DR连续时间近似是研究随机梯度下降从稳定点逃离行为的关键工具，本文提出了基于新颖的随机反向误差分析框架的 Hessian-Aware Stochastic Modified Equation (HA-SME) 来模拟这些行为，在平方目标函数情况下 HA-SME 成为第一个在分布意义上精确恢复标准梯度下降动态的 SDE 模型，能够准确预测 SGD 在稳定点附近的逃逸行为。
continuous-time approximationstochastic gradient descenthessian-aware stochastic modified equationescaping behaviorsquadratic objectives
发现论文，激发创造
  • 异步随机梯度下降的随机修正方程

    提出了一种随机修正方程（SME）模型来建模异步随机梯度下降（ASGD）算法，并应用该模型提出了一种最优小批量策略。

    May, 2018

  • 随机修正方程和随机梯度算法动力学 I：数学基础

    该研究发展了随机修正方程 (SME) 框架的数学基础，以便于分析随机梯度算法的动态，其中后者由一类噪声参数很小的随机微分方程逼近。研究表明，这种逼近可以被理解为一种弱逼近，从而在随机目标的一般设置下，得出了关于随机梯度下降、动量 SGD 和随机 Nesterov 加速梯度方法逼近的一些精确而有用的结果。同时，我们还通过显式计算表明，这种连续时间方法可以揭示随机梯度算法的一些重要分析洞见，这在纯离散时间设置中可能很难获得。

    Nov, 2018

  • 随机修正方程与自适应随机梯度算法

    通过连续时间随机微分方程，采用最优控制理论，提出一种新的自适应超参数调节策略，应用于随机梯度算法，表现具有竞争性和稳健性。这为随机梯度算法的分析和设计提供了一种通用方法。

    Nov, 2015

  • 极小化极大优化的 SDEs

    利用随机微分方程分析和比较最小化最大化优化器的 SDE 模型，揭示超参数、隐式正则化和隐含的曲率诱导噪声之间的相互作用，并以简化的设定推导出收敛条件和闭式解，进一步揭示不同优化器行为的见解。

    Feb, 2024

  • 神经 SDE 的高效准确梯度

    本文介绍了利用可逆且代数上可逆的 Heun 方法以及优化的布朗运动采样技术，加速求解反向 SDE 以训练神经 SDE 模型，并提出了用于 GAN 的训练技巧，实验表明我们的算法在速度和预测效果上超过了现有技术。

    May, 2021

  • 带有延迟的分布式随机梯度下降：基于随机延迟微分方程的框架

    基于随机时滞微分方程（SDDE）和概率到达梯度泊松近似，提出了统一框架来分析和优化异步分布式随机梯度下降（ASGD）的收敛性，揭示了 ASGD 的阻尼系数、延迟统计特性和收敛条件，以及调度策略的优化。同时表明增加激活的工作人员数量并不一定加速分布式随机梯度下降，而较大程度的时滞将导致其发散。通过数值实验验证了 SDDE 框架在复杂学习任务中具有的潜力。

    Jun, 2024

  • 梯度下降算法在统计和计算范式中的随机微分方程渐近分析

    本研究探讨随机优化中梯度下降算法（尤其是加速梯度下降和随机梯度下降）的渐近行为，并建立了渐近分析的计算和统计统一框架。基于时间依赖奥恩斯坦 - 乌伦贝克过程等建立梯度流中心极限定理，最终识别学习率、批处理大小、梯度协方差和黑塞矩阵等四个因素，以解决非凸优化问题。

    Nov, 2017

  • 状态依赖噪声的加速随机逼近

    本文讨论了一类随机光滑凸优化问题，其噪声的方差与算法产生的近似解的次优性有关，提出了两个非欧几里德加速随机逼近算法，即随机加速梯度下降（SAGD）和随机梯度外推（SGE），并证明了在适当的条件下，这两个算法可以同时达到最优的迭代和样本复杂度。同时本文还提出了应用 SGE 进行恢复稀疏解的方法。

    Jul, 2023

  • 神经随机微分方程作为无限维生成对抗网络

    本文介绍了一种将传统经典方法与神经随机微分方程（SDEs）相结合的方法，作为连续生成时间序列模型，无需预设统计或密度功能即可适应任意漂移和扩散，其输入噪声为布朗运动，输出样本是由数值求解器产生的，可用于机器学习中的时间序列建模。

    Feb, 2021

  • 高维笔记的一击：GLM 和多指标模型上 SGD 学习动力学的 ODE

    该研究分析了应用于广义线性模型和多索引模型（例如逻辑回归，相位恢复）以及具有一般数据协方差的流式随机梯度下降（SGD）的高维极限动力学。通过引入常微分方程系统，该研究展示了 SGD 的确定性等效性，并得到了 SGD 稳定性和收敛性的学习速率阈值。此外，该研究还介绍了一个具有简化扩散系数的随机微分方程（均匀化 SGD），用于分析 SGD 迭代的一般统计动态，并通过数值模拟实例和理论进行了对比验证。

    Aug, 2023