关于优化中的加速方法
本文从连续时间的角度研究了加速方法,发现 Bregman Lagrangian 是一种生成各种加速方法的拉格朗日函数,其中包括 Nesterov 成果的系统方法。
Mar, 2016
研究了基于梯度的优化和常微分方程的关系,提出了一种新的极限过程和高分辨率常微分方程模型,发现该模型比现有 ODEs 更为准确地刻画了 Nesterov 的加速梯度法(NAG-SC)以及 Polyak 的重球法之间的差异,对收敛性进行了分析,并利用此模型发现了关于 NAG-C 的新结果。
Oct, 2018
本文介绍了用于凸优化中的加速技术的两个关键方法族(动量和嵌套优化方案),动量方法结构收敛证明使用几个主模板(例如用于优化梯度方法的那个)和近端加速,探讨了重新启动方案和一些常见的加速的技术。
Jan, 2021
推导出与 Nesterov 加速梯度方法近似等价的二阶常微分方程,该 ODE 可用于分析,可以重启 Nesterov's 方案并且可以证明在目标函数强凸时,其具有线性收敛速率。
Mar, 2015
提出了一种新的加速一阶方法 (AXGD),采用了预测 - 校正方法,解决了凸 - 凹鞍点问题,通过隐式欧拉离散化构建了加速连续时间动态模型,并通过原始 - 对偶视角进行了分析,对于其他类别的目标也能够达到最佳收敛速度。
Jun, 2017
通过离散化对应于 Nesterov 加速梯度方法和 Polyak 重球方法的常微分方程进行研究,我们考虑了三种离散化方案:显式欧拉方案,隐式欧拉方案和辛方案。我们表明,将辛方案应用于 Shi 等人提出的高分辨率 ODE 可以实现加速率,用于最小化平滑的强凸函数。另一方面,当方案是隐式的,ODE 是低分辨率的,或者方案是显式的时,得到的算法要么无法实现加速,要么是不实用的。
Feb, 2019
利用动力学系统框架理解 Nesterov 加速梯度方法的原理及机制,探究了半隐式欧拉积分方案离散化普通微分方程的加速效应,分析发现曲率依赖阻尼项是实现加速的关键。同时,建立了离散化和连续时间动态之间的联系。
May, 2019
我们提出了一种新的优化方法,通过类似于椭球体法的简单几何解释,实现了超平滑何强凸函数的无约束优化,并在数值实验中证明了其优于 Nesterov 加速梯度下降。
Jun, 2015
本文以自适应重启策略为基础,探讨了启发式的优化梯度方法加速收敛的方法,并且证明了自适应重启可以加速优化梯度方法的收敛速度,特别是在非光滑组合凸函数的情况下。
Mar, 2017
本研究提出了一种基于 Hamiltonian dynamical systems 和 symplectic integration 的框架,用于将加速梯度方法中连续时间动态转换成离散时间算法,从而实现 oracle 下界,这一框架将加速梯度方法引入了不同的优化领域。
Feb, 2018