本文提出了一种后局部随机梯度下降（SGD）方法，并通过标准基准测试表明，相比大批量训练，该方法显著提高了模型的泛化性能，同时保持相同的效率和可扩展性。此外，本文对一系列局部 SGD 变体的通信效率与性能权衡进行了广泛的研究。

Aug, 2018

本文提出了一种名为local-SGD的算法，通过逐步同步而非每一步都进行通信提高了通信效率，同时在大步长情况下提供了自适应下限比较。

Apr, 2019

本文研究了一种名为local distributed SGD的分布式优化算法，其中数据在计算节点之间进行划分，计算节点进行本地更新，定期交换模型以进行平均化，并对其进行收敛分析，结果表明它可以大大降低通信成本并且适用性比当前理论推测的更为广泛，同时提出了一种自适应同步方案，验证理论和方案的实验结果在AWS EC2云和内部GPU集群上运行良好。

Oct, 2019

本文旨在研究在异构样本上进行非凸优化的联邦分布式学习，具体而言，我们将分析分布式方法相对于均匀样本中的隐含方差减少特性在异构样本中的应用，并证明其在广义的非凸和条件下的收敛性与最优性.

Oct, 2019

本文研究了局部 SGD（也称为并行 SGD 和联邦平均），一个自然且常用的随机分布式优化方法。在凸设置中，我们证明了局部 SGD 严格优于小批量 SGD，并且加速局部 SGD 在凸二次目标上是最小极值最优的。同时，我们还提供了总体上至少有时优于小批量 SGD 的第一个保证，并展示了局部 SGD 存在一种性能下限，比小批量 SGD 保证更差。

Feb, 2020

本文研究异构分布共享的随机梯度下降优化问题，通过对比Local SGD和Minibatch SGD，得到加速的Minibatch SGD是解决高异质性问题的最优方法，并提出了第一个比Minibatch SGD更好的Local SGD的上界解。

Jun, 2020

该论文提出了一种统一框架，用于在凸性和强凸性条件下分析本地SGD方法，适用于监督机器学习模型的分布式/联邦训练。作为该框架的应用，作者开发了多个新型优化器，特别是开发了第一个线性收敛的本地SGD方法，不需要任何数据同质性或其他强假设。

Nov, 2020

本文介绍了一种新型的本地算法BVR-L-SGD，用于非凸分布式优化，它基于小二阶异质性的本地目标，建议在同步工作时随机选择本地模型之一而不是取其平均值，并在理论上证明了BVR-L-SGD在小异质性的本地目标下比以前的非本地和本地方法都具有更好的通信复杂度，特别是当异质性较小且本地计算预算较大时，BVR-L-SGD是打破通信复杂度Θ（1/ε）障碍的第一种方法。

Feb, 2021

研究分布式学习中的本地 SGD 和基于随机梯度的优化方法，通过随机梯度下降的方案，降低了随机抽样带来的估计偏差和方差，提高了模型的训练效率，实验表明，该方案的效果比替代方案更好。

Oct, 2021

本文研究分布式学习场景中，M台机器与参数服务器进行交互，以最小化公共目标函数。我们专注于异构情况，其中不同的机器可能从不同的数据分布中获取样本，设计出第一个本地更新方法，可以证明优于两种最突出的分布式基线：Minibatch-SGD和Local-SGD。我们的方法核心是缓慢的查询技术，我们将其定制为分布式环境，从而更好地缓解本地更新所引起的偏差。

Apr, 2023