论本地更新方法中学习率的超大重要性
本文旨在研究在异构样本上进行非凸优化的联邦分布式学习，具体而言，我们将分析分布式方法相对于均匀样本中的隐含方差减少特性在异构样本中的应用，并证明其在广义的非凸和条件下的收敛性与最优性.
Oct, 2019
本文提出了一种公平性感知的梯度稀疏化方法，以及一种自适应梯度稀疏化技术，能够在控制梯度稀疏度的情况下，最小化整体训练时间，实验结果表明，相对于传统方法，通过本文所提方法，能够在有限的训练时间内提升40%的模型准确度。
Jan, 2020
本文提出了FedLin框架来应对分布式学习中的目标异质性、系统异质性和不频繁不准确的通信挑战，当客户端的本地损失函数是光滑且强凸的时，FedLin保证线性收敛并最终收敛到全局最小点，并且在压缩比例下仍然保持线性收敛速度。
Feb, 2021
研究一种称为“本地更新方法”的算法族，它可以泛化许多联邦和元学习算法，并证明对于二次模型，本地更新方法等价于对我们精确表征的代理损失进行一阶优化。
Mar, 2021
本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响，指出自适应优化方法虽然可以加速模型收敛，但可能导致解决方案出现偏差，为此提出了纠正技术以克服这种不一致性，并在现实联合训练任务上进行了广泛实验，结果表明与没有局部自适应性的基线相比，所提出的算法可以实现更快的收敛和更高的测试准确性。
Jun, 2021
本文提出了一种新的联邦学习算法FedPAGE，通过利用最新的优化 PAGE 方法来代替 FedAvg 中的SGD，从而进一步减少通信复杂度。在联邦凸优化和非凸优化两种情境下，FedPAGE 都比之前的本地方法使用更少的通信轮次，为联邦凸优化和非凸优化实现了通信复杂度方面的新的最优结果。
Aug, 2021
本文研究了在联邦学习中的服务端优化问题，运用随机重排等技术，证明在使用 Federated Averaging 算法的情况下，通过调整本地学习率，可以显著提高求解凸优化和非凸优化问题的效果。同时，通过选择合适的本地学习率，可以有效克服通信瓶颈问题。
Jan, 2022
本文提出了强凸目标函数下联邦平均算法（FedAvg）的调整方法，即通过衰减每轮训练中的 Stochastic Gradient Descent 步数 K，以改善联邦学习模型的收敛性能，并在四个基准 FL 数据集上进行了实验验证。
May, 2023
本篇论文以三个方向推动本地方法的理论基础：（1）建立FedAvg的尖锐界限；（2）提出了FedAvg的有原则的加速方法FedAc；（3）研究了扩展经典平滑设置的Federated Composite Optimization问题。
Jan, 2024