本文研究了多个分布式优化算法在面对不同客户端数据异构程度时的局限性，并提出了一种基于动量法的方法来减轻这种分布式训练困难。通过在多个数据集上的实验，结果表明我们提出的方法比其他现有方法更能够应对客户端数据异构性。

Feb, 2021

本研究提出了一个通用框架，用于统一集中式和分布式场景下的多个基于梯度的随机优化方法，通过引入一个增光图，设计了一种合适的拓扑结构，使得 VR 和 GT 方法能够有效消除设备内外的数据异质性，并提供了一种统一的收敛分析。

Jul, 2022

我们研究了数据异质性对联邦学习的影响，发现许多之前的联邦学习方法并没有深入探讨不同类型的数据异质性以及这些异质性如何影响参与客户端的准确性表现。我们研究发现，当前设置中的数据异质性不一定是问题，事实上，它对 FL 参与者有益。

Sep, 2022

研究了具有罕见连接的分布式机器学习优化问题，提出了理论解释，解释了合作可以获得比训练单独更大的学习率，并描述了不同图形拓扑的相对优点。

Jun, 2022

研究了混合异构性如何影响联邦优化，通过调查服务器端优化表明，自适应地最大化梯度多样性在服务器更新方向上可以帮助缓解混合异构性的潜在负面影响，引入了具有理论保证的新型基于梯度的优化器 FedAWARE，通过在异构联邦设置中进行大量实验表明，我们的提议优化器可以显著提升不同程度的混合异构性下联邦学习的性能。

Oct, 2023

本文研究了联邦学习中数据异构性的挑战，提出了通过对实验数据进行部分重洗来优化收敛率的方法。通过本文提出的理论方法，我们证明了重洗可以显着减少数据的不同之处，从而加快收敛速度，本研究提出了一种使用本地生成的合成数据进行重洗的实际方法，并证明了通过该方法可以显著提高多个现有联邦学习算法的性能。

Jun, 2023

通过优化混合矩阵，改进分散式学习的能源效率，该研究将问题建模为双层优化，其中底层通过图稀疏化求解，针对全连接基底拓扑提出了一种拥有保证性能的解决方案，针对一般情况提出了一种贪心启发式方法，并通过基于真实拓扑和数据集的模拟验证，结果表明该方案可以在保持训练模型质量的前提下，将最繁忙节点的能耗降低 54%-76%。

Jan, 2024

该论文研究了分布式优化方法中工作通讯拓扑对收敛速度的影响，并提出通过使用稀疏拓扑来提高收敛速度的方法。

Feb, 2020

一种考虑了分散式机器学习和数据保护的联邦学习方式，通过构建本地图和局部连接来训练个人的、个性化的非线性模型，实现了低通讯成本和对数据的隐私保护。

Jan, 2019

这篇论文介绍了一种统一的收敛性分析方法，涵盖了许多分散式随机梯度下降方法，具有计算成本低、数据本地性和沟通效率等优点，并包括本地随机梯度下降更新和自适应网络拓扑上的同步和成对传递更新，我们推导了光滑（凸和非凸）问题的通用收敛率，并在不同的数据分布和 iid 数据设置下进行了插值。

Mar, 2020