我们考虑了应对平滑非凸优化问题的具有随机重排特性的随机梯度方法，通过研究其样本复杂度和下降特性，我们提出了一个简单可行的停止准则，并设计了一个扰动随机重排方法，可以有效地避开严格的鞍点并返回一个具有二阶停滞点的迭代解。

Nov, 2023

该研究探讨了利用随机重排来压缩有限和函数的算法 ——Random Reshuffling。该算法在凸优化和非凸优化中很有实用性，并且通常比随机梯度下降更快。研究者通过理论和实验表明，新的方差类型为 RR 的卓越性能提供了额外的理论依据。此外，他们还展示了 Shuffle-Once 算法的快速收敛性，并进一步提出了多种适用于非强凸和非凸目标的算法。他们的理论优于现有文献，同时也揭示了在某些情况下，随机变量的不同类型可能产生更大的影响。

Jun, 2020

本篇论文提出两种新的优化算法：ProxRR 和 FedRR，应用于分布式问题的改进。这些算法在收敛性和计算复杂度方面具有明显优势，并在重要的最优化任务中发挥出色。

Feb, 2021

本文研究了随机重洗方法的收敛速率，表明在特定条件下随机重洗方法通过迭代平均和逐渐缩小的步长可以以概率一的方式在优化目标值的次优性上以 $\Theta (1/k^{2s})$ 的速率收敛，从而改善了 SGD 的 $\Omega (1/k)$ 收敛速率。

Oct, 2015

研究了过度参数化的机器学习模型，提出了抽样无替换的 SGD 变体 - random reshuffling-，并证明了在一些假设条件下，它可以比 SGD 更快地收敛。此外，对于 Polyak-L ojasiewicz (PL) 函数类问题，当样本数小于条件数与参数之积或小于参数的强增长条件时，证明了 random reshuffling 优于 SGD。

Apr, 2023

signSGD 与随机重排（SignRR）在非凸优化中具有相同的收敛速率，我们还提出了利用减小方差的梯度和动量更新的 SignRVR 和 SignRVM 算法，且将这些算法扩展到数据在不同机器上分布的情况。

Oct, 2023

用 “随机梯度下降”（SGD）而无需替换的 “洗牌梯度方法”，基于曲率刻画关于目标值的收敛速度，证明其对于目标值的最优性。

Mar, 2024

本文探讨了在分布式多代理网络上定义的一类有限和凸优化问题，通过开发一种新的随机渐进梯度算法（RGEM），解决了无需精确梯度评估，但可以实现最优复杂度界限的问题，同时维持了最佳的随机复杂度（直至一定的对数因子），作者同时基于 Nesterov 的加速梯度方法开发了算法。

Nov, 2017

本文提出并研究了一种新颖的随机优化算法，称为基于正态映射的近端随机重排（norm-PRR）方法，用于非光滑非凸有限和问题。我们建立了 norm-PRR 的迭代复杂度 O (n^{-1/3} T^{-2/3})，其中 n 是组成函数的数量，T 表示迭代总数。此外，在 Kurdyka-Łojasiewicz 不等式下，我们建立了 norm-PRR 的强极限点收敛性，并得到了迭代的最终收敛速度为 O (k^{-p}) 的形式；其中，p∈[0, 1] 取决于 KL 指数 θ∈[0,1) 和步长动态。最后，我们还提供了关于机器学习问题的初步数值结果，证明了该方法的效率。

Dec, 2023

Stochastic Extragradient 的随机重排列变体 SEG-RR 收敛分析：证明 SEG-RR 对于 VIPs 的三类问题具有更快的收敛速度，并在单调情况下无需大批次样本即可保证任意精度的收敛。

Mar, 2024