面向通信高效的自适应梯度方法
本文提出了一种后局部随机梯度下降（SGD）方法，并通过标准基准测试表明，相比大批量训练，该方法显著提高了模型的泛化性能，同时保持相同的效率和可扩展性。此外，本文对一系列局部 SGD 变体的通信效率与性能权衡进行了广泛的研究。
Aug, 2018
本文旨在研究在异构样本上进行非凸优化的联邦分布式学习，具体而言，我们将分析分布式方法相对于均匀样本中的隐含方差减少特性在异构样本中的应用，并证明其在广义的非凸和条件下的收敛性与最优性.
Oct, 2019
本篇论文提出了一种新的SGD变体算法，降低了通信开销及提高自适应学习率，经实验证明，该算法显著降低了通信开销，进而缩短了1B字数据集的训练时间30%。
Nov, 2019
本文提出了一种公平性感知的梯度稀疏化方法，以及一种自适应梯度稀疏化技术，能够在控制梯度稀疏度的情况下，最小化整体训练时间，实验结果表明，相对于传统方法，通过本文所提方法，能够在有限的训练时间内提升40%的模型准确度。
Jan, 2020
本研究提出了联邦学习的自适应优化方法，包括Adagrad，Adam和Yogi，并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用，并表明自适应优化器的使用可以显着提高联邦学习的性能。
Feb, 2020
本文提出了一种新的联邦学习算法FedPAGE，通过利用最新的优化 PAGE 方法来代替 FedAvg 中的SGD，从而进一步减少通信复杂度。在联邦凸优化和非凸优化两种情境下，FedPAGE 都比之前的本地方法使用更少的通信轮次，为联邦凸优化和非凸优化实现了通信复杂度方面的新的最优结果。
Aug, 2021
通过学习优化器的方法，本研究证明了学习优化器在保持通信高效性的同时，能够明显优于本地SGD及其衍生变体，甚至在未见过的更大规模数据集、架构（如ImageNet和ViTs）以及语言模型等方面具有推广性，从而展示了学习优化器改进通信高效分布式学习的潜力。
Dec, 2023
FedLion是一种自适应联邦优化算法，将Lion算法的关键元素无缝地应用于分布式数据训练的Federated Learning框架中，通过综合评估表明FedLion在自适应算法中胜过现有的最先进算法，并通过使用有符号梯度在本地训练中来减少数据传输要求，进一步降低通信成本，并展示了FedLion相对于FedAvg等已建立的FL算法具有更快的收敛速度。
Feb, 2024