- ICML解密双倍随机梯度下降法
对于以不可解期望的求和形式作为优化目标的问题，除了有界方差等强假设条件外，很少了解双重随机梯度下降（doubly SGD）的收敛性质。本研究在一般条件下，建立了具有独立小批量和随机重排的双重随机梯度下降的收敛性，并允许对依赖的分量梯度估计进 - 随机重排的高概率保证
我们考虑了应对平滑非凸优化问题的具有随机重排特性的随机梯度方法，通过研究其样本复杂度和下降特性，我们提出了一个简单可行的停止准则，并设计了一个扰动随机重排方法，可以有效地避开严格的鞍点并返回一个具有二阶停滞点的迭代解。
- 非凸优化的基于符号随机重排算法的收敛性
signSGD 与随机重排（SignRR）在非凸优化中具有相同的收敛速率，我们还提出了利用减小方差的梯度和动量更新的 SignRVR 和 SignRVM 算法，且将这些算法扩展到数据在不同机器上分布的情况。
- 改进的分布式随机重排方法
本文提出了两种分布式随机重排方法，分别是随机重排梯度追踪 (GT-RR) 和带随机重排的精确扩散 (ED-RR)，用于解决连接网络上的分布式优化问题，并在理论上和实践中都优化了以前的分布式随机重排算法的性能。
- 超参数化情况下随机重排的快速收敛及 Polyak-Łojasiewicz 条件
研究了过度参数化的机器学习模型，提出了抽样无替换的 SGD 变体 - random reshuffling-，并证明了在一些假设条件下，它可以比 SGD 更快地收敛。此外，对于 Polyak-L ojasiewicz (PL) 函数类问题， - 服务器端步长和无替换采样在联邦优化中被证明有效
本文研究了在联邦学习中的服务端优化问题，运用随机重排等技术，证明在使用 Federated Averaging 算法的情况下，通过调整本地学习率，可以显著提高求解凸优化和非凸优化问题的效果。同时，通过选择合适的本地学习率，可以有效克服通信瓶 - 方差减少的极大 - 极小优化算法实现快速分布式鲁棒学习
本文提出了一种可扩展的、可实现的随机额外梯度算法，用于解决 Wasserstein DRSL 框架下的分类问题，该算法采用方差缩减和随机重排，可达到更快的收敛速率，并在合成和真实数据上证明了其有效性。
- 近端和联邦随机重洗
本篇论文提出两种新的优化算法：ProxRR 和 FedRR，应用于分布式问题的改进。这些算法在收敛性和计算复杂度方面具有明显优势，并在重要的最优化任务中发挥出色。
- 随机重排：简单分析，显著提高
该研究探讨了利用随机重排来压缩有限和函数的算法 ——Random Reshuffling。该算法在凸优化和非凸优化中很有实用性，并且通常比随机梯度下降更快。研究者通过理论和实验表明，新的方差类型为 RR 的卓越性能提供了额外的理论依据。此外 - 随机重排的恒定步长随机学习
本文研究了常数步长情况下强凸损失函数的随机梯度算法，在收敛时随机重排比均匀抽样性能更优，通过分析表明了迭代值到达最小值的邻域范围更小，证明了随机重排算法的性能更好，同时解释了随机重排算法实现中观察到的周期性行为。
- 基于随机洗牌的方差缩减随机学习
本文研究基于方差减小的随机梯度算法，探究了随机数据抽样和随机重排的条件下的线性收敛性和新的 AVRG 算法，并给出了理论保证。