分布式机器学习模式中的分布式学习是指许多客户端与中央服务器协同工作，以学习模型而无需共享自己的训练数据。本文介绍了一种采用随机梯度下降算法的分散式联邦学习（DFL）模型，作为一种更可伸缩的方法，以改善带有任意拓扑结构的代理网络中的学习性能。针对客户端和并行服务器之间的通信，提出了三种 DFL 调度策略，并在完全分散的 SGD 实现中对收敛性、准确性和损失进行了测试。实验结果表明所提出的调度策略对收敛速度和最终全局模型均有影响。
Nov, 2023
本文提出了一种在无线边缘设备间通过分布式学习模型的联合训练方式，使用 Decentralized Stochastic Gradient Descent 协议实现设备间协同训练，通过适应路径损耗、衰落、阻挡和干扰等因素的技术，在物理层上利用稀疏基础恢复实现了无线波传输和计算的处理。
Feb, 2020
通过比较数字和模拟传输过程，分析了资源受限分散式联邦学习在通信效率方面的性能，并讨论了通信条件下如何优化系统参数以提高性能。
Aug, 2023
在分布式学习中，为了解决参数聚合带来的通信开销和单点故障问题，本论文研究了如何有效利用有限资源以提高模型性能。我们通过优化本地训练轮次的数量和节能聚合方案，提出了一个解决方案，该方案在不同设备上实现了更好的性能表现，并消耗比传统聚合方案更少的能量。
Mar, 2024
提出了一种新颖的 DA-DPFL 稀疏到更稀疏的训练方案，通过动态聚合逐渐减少模型参数，从而在保留关键学习期间的足够信息的同时实现了能耗大幅降低，并在测试准确性上明显优于 DFL 基准。
Apr, 2024
分散式联邦学习的 DSpodFL 方法通过模拟现实环境中的不同异质性形式来泛化间歇性，实现了更快的训练速度和对系统参数变化的鲁棒性。
Feb, 2024
根据局部更新系数和梯度压缩稀疏预算之间的权衡方式，提出了一种新的快速联邦学习方案（Fast FL），该方案通过动态地调整这两种变量来实现最小化学习误差。结果表明，Fast FL 能够快速且一致地实现比文献中类似方案更高的精确度。
May, 2021
本文提出了一种基于不精确的交替方向法方法的新算法，在分散节点之间训练共享模型的过程中实现了稀疏约束、通信效率和计算效率的改进。
本文综述性地介绍了分散化联合学习的定义、方法、挑战、变体、技术和研究方向。通过在客户端之间建立直接通信的去中心化网络结构，分散化联合学习能够省略中心服务器，降低通信开销并实现较高的学习效率和隐私保护。
Jun, 2023
基于不对称拓扑结构和 Push-Sum 协议，DFedSGPSM 算法以解决共识优化问题为目标，结合 Sharpness Aware Minimization（SAM）优化器和本地动量，提高算法性能并减轻联邦学习中的本地异质过拟合问题。理论分析证明在非凸平滑环境下，DFedSGPSM 算法以 O (1/√T) 的收敛速率收敛于全局最优解，而更好的拓扑连接性能会得到更严格的上界。在 MNIST、CIFAR10 和 CIFAR100 数据集上进行的大量实验表明，与最先进的优化器相比，我们的算法具有更优越的性能。
Oct, 2023