通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。

Jul, 2020

本研究提出了 SHED 算法，这是一种专门用于加速异构场景中的联邦学习的通信受限牛顿型算法，具有对非独立同分布数据分布的鲁棒性，处理了代理通信资源的异构性，并实现了超线性收敛。

Feb, 2022

本研究介绍了一种名为 FedNew 的新型框架，通过引入两级框架、替换传统方法中需要从客户端传输 Hessian 信息的环节等方式解决了低通信效率、低隐私性等问题，并使用随机量化等方式将通信开销显著降低，在实际数据集上的实验显示出了优于现有方法的性能。

Jun, 2022

提出了一种名为Federated Newton Sketch方法（FedNS）的算法，通过通信sketched square-root Hessian来逼近中心化的Newton's方法，以此解决了Hessian矩阵的通信复杂性问题，实现了快速收敛率，并首次达到了超线性收敛率。

Jan, 2024

本文提出了一种加速联邦学习训练的近似全局Hessian方法（FAGH），通过利用近似全局Hessian的曲率加速全局模型的收敛，从而减少通信轮次和训练时间，并在训练和测试损失以及测试准确率方面优于几种最先进的联邦学习训练方法。

Mar, 2024

本文章介绍了一个可扩展的二阶方法 Fed-Sophia，通过结合梯度的加权移动平均和剪切操作来寻找下降方向，并使用海森矩阵对角线的轻量级估计来融入曲率信息。数值评估表明，与一阶和二阶基准相比，所提出的 Fed-Sophia 算法在优越性、鲁棒性和可扩展性方面表现出色。

Jun, 2024

本文解决了联邦学习中隐私泄露和通信瓶颈的两个主要问题，提出了一种新的算法——差分隐私联邦立方正则牛顿（DP-FCRN）。通过利用二阶技术，该算法在迭代复杂度上优于一阶方法，同时在本地计算中加入噪声扰动以确保隐私，且通过稀疏化传输降低通信成本并增强隐私保证。本研究的重要发现是，新的算法在保护隐私的前提下，降低了所需的噪声强度，并在基准数据集上验证了其有效性。

Aug, 2024

本研究解决了联邦学习中通信效率与快速收敛之间的重要挑战，特别是在二阶方法的应用中。提出的FLeNS方法结合了Nesterov加速与Hessian草图技术，能够在不依赖于精确Hessian矩阵的情况下显著减少通信开销，并在通信轮次中实现超线性收敛率。该方法的实证评估展现了其在隐私敏感和边缘计算场景下的优越性能。

Sep, 2024

本研究针对分布式和联邦学习中通信成本高和隐私保护的难题，提出了一种结合Hessian相似性和梯度相似性的新方法。该方法引入了数据相似性的思想以及客户端采样，同时通过噪声技术应对隐私问题。研究结果表明，所提方法能有效提升模型的收敛性，具有重要的实际应用潜力。

Sep, 2024

本文解决了联邦学习（FL）中现有FedNL原型的三个主要缺陷，提出了FedNL-LS和FedNL-PP的自给自足实现，从而显著降低了实验时间。研究发现，该方法在单节点和多节点设置中均优于现有训练方案，并提出了两种符合理论的压缩方法，以进一步优化FedNL的应用。

Oct, 2024