随机重球
本文探讨了二阶稳定线性差分方程的解及其对无约束优化方法 - Heavy Ball 方法的削弱效果的影响，提出了改进算法，通过引入新的 Lyapunov 函数，使方法的收敛性在较少的限制条件下得到确立，并建议了一些重新启动技术来加速方法的收敛。
Nov, 2018
本文提出了改良后的重球法收敛复杂度分析，对高度矫正的目标函数证明了具有常数步长的重球算法的非遗传 O（1/k）率结果，同时在简化其步长和惯性参数的条件下，证明了更弱的适用条件下的线性收敛性。研究展开成多块版本的重球算法，结果适用于循环和随机更新规则。本研究结果已成功扩展到分散式优化问题中。
Nov, 2018
本论文研究了凸优化中的 Heavy-ball 方法，当目标函数具有 Lipschitz 连续梯度时，证明了迭代的 Cesaro 平均值以 $O (1/k)$ 的速度收敛于最优解；当目标函数还是强凸时，证明了 Heavy-ball 迭代线性收敛于唯一的最优解。
Dec, 2014
本文通过建立随机重球方法在二次目标函数和异性梯度噪声条件下的非渐近收敛界，证明了重球动量可以在 SGD 的偏差项上提供加速收敛，同时与随机方差项相比，仍然能够实现接近最优的收敛速度，从而在统计极小化速度的对数因素范围内整体收敛，该结果意味着带有重球动量的 SGD 在大批量设置中（例如分布式机器学习或联邦学习）中非常有用，其中更少的迭代次数可以显著减少通信轮数，进而加速实践计算。
Dec, 2023
该论文针对随机动量法在非凸优化领域中的收敛性分析不足，通过对两种随机动量法（随机重球法和随机版 Nesterov 加速梯度法）的基本收敛性分析，提出了一种统一框架，展示了它们与随机梯度法之间的相似性和差异性，并在深度学习的测试误差收敛行为中解释了连续变化现象。同时，对深度神经网络的优化实验结果表明，随机版 Nesterov 加速梯度法在训练误差收敛速度和测试误差收敛鲁棒性方面取得了很好的平衡。
Apr, 2016
本文研究了随机梯度下降法和随机重球法在一般随机逼近问题上的收敛速度和最后迭代时的表现，证明了加权平均的迭代数的 收敛率，以及在非超参数区域内使用随机线性搜索和随机 Polyak 步进时的收敛性，并证明了最后一个重球的迭代收敛于极小化器，最后在非凸设置中证明了关于 SGD 轨迹下最低梯度范数的相似速率结果。
Jun, 2020
该研究发展了新技术，能够分析连续两个时间点的 Hessian 变化如何影响收敛速度，从而证明了一类 Polyak-Łojasiewicz 优化问题可以通过引入 Heavy Ball dynamic 来实现证明加速。此外，通过我们的分析还表明了一种自适应设置动量参数的好处。
Jun, 2022
本文研究了一类耗散哈密顿系统的结构保存离散化方法及其在机器学习中的应用，包括流行的加速优化算法 Nesterov 及 Polyak's heavy ball 的初步分析和新洞见，同时提出了一种基于耗散相对论系统的新算法可应用于加速优化但规避额外成本
Mar, 2019
本文示范了随机重球（SHB）方法是如何作为随机化闲话算法解决随机凸和非凸优化问题的。为此，我们专注于 SHB 的两种特殊情况：带动量的随机 Kaczmarz 方法及其块变体。在最近提出的随机化闲话算法设计和分析框架 [L Richtarik，2016] 的基础上，我们解释了所提出方法的分布式性质，并提出了用于解决平均一致性问题的新协议，其中在每个步骤中，网络的所有节点都更新其值，但只有其中的子集交换其私有值。我们还展示了在流行的无线传感器网络上运行我们协议的数字实验结果。
Sep, 2018