该论文提出了一种基于神经切向核的新型联邦学习范式，通过传输比传统联邦学习范式更具表现力的样本级 Jacobian 矩阵，解决了统计异质性的挑战，并进一步开发了一种改进的变体，其在保持相同准确性的情况下，将通信轮数减少了一个数量级。

Oct, 2021

本文提出一种新的收敛分析方法 - Federated Learning Neural Tangent Kernel (FL-NTK)，旨在研究在 Federated Learning 框架下，使用逐渐逼近的方法对参数化的 ReLU 神经网络进行梯度下降训练时的收敛性分析，并证明该方法可以在线性时间内收敛到全局最优解，并可通过适当的分布假设获得良好的泛化能力。

May, 2021

本文中，我们分析了在非独立同分布数据上的 FedAvg 算法的收敛性，并在强凸和平滑问题上建立起一个 O (1/T) 的收敛率，研究了部分设备参与的不同平均方案，结果表明数据的异质性会降低收敛速度，并提供了一个必要条件，即遇到非独立同分布数据时，学习率需要衰减否则结果将偏离最优解。

Jul, 2019

本篇论文以三个方向推动本地方法的理论基础：（1）建立 FedAvg 的尖锐界限；（2）提出了 FedAvg 的有原则的加速方法 FedAc；（3）研究了扩展经典平滑设置的 Federated Composite Optimization 问题。

Jan, 2024

本文通过利用目标函数和 NTK 相关的函数空间的特殊属性，证明了平均随机梯度下降方法在 NTK 极限下能够取得最小极小化误差率，并利用 ReLU 网络的平滑逼近，使得可以在最优极小化误差率下学习 NTK 指定的目标函数。

Jun, 2020

该研究提出了一种名为 FedLaAvg 的简单分布式非凸优化算法，用于解决在移动环境下采用联邦学习时客户端不连续可用的问题，并证明了其达到了收敛速度为 $ O (E^{1/2}/(N^{1/4} T^{1/2}))$ 的水平。

Feb, 2020

本文提出了强凸目标函数下联邦平均算法（FedAvg）的调整方法，即通过衰减每轮训练中的 Stochastic Gradient Descent 步数 K，以改善联邦学习模型的收敛性能，并在四个基准 FL 数据集上进行了实验验证。

May, 2023

本文研究了联邦平均算法的去中心化版本，并使用无向图连接的客户端来实现，其在节点间仅通信与邻居节点；此外，还进一步研究了该算法的量化版本，并证明了在满足某些条件下该算法收敛性；最终通过数值实验验证了其有效性。

Apr, 2021

提出了一种称为 Train-Convexify-Train (TCT) 的过程，以解决非凸问题中联邦优化方法失败的问题，并进一步通过 CIFAR10 和 FMNIST 数据集实现了约 37% 和 36% 的准确度改进。

Jul, 2022

本文介绍了在联邦学习中最流行的算法之一 - 联邦平均（FedAvg），尽管其简单易用，但至今其收敛率仍未确定，并且该算法的收敛速度受限于其假设的条件。该研究通过提供一个匹配现有上限的 FedAvg 下限解决了已有的收敛速度问题，同时还证实了在异质性聚集中，合理的下限几乎匹配了现有的上限，同时也证明了对于三阶平滑性的假设，该算法能在凸和非凸设置上实现更好的收敛性能。

Nov, 2021