提出了一种新颖的 DA-DPFL 稀疏到更稀疏的训练方案，通过动态聚合逐渐减少模型参数，从而在保留关键学习期间的足够信息的同时实现了能耗大幅降低，并在测试准确性上明显优于 DFL 基准。

Apr, 2024

提出一种采用分布式训练（DFL）的通用分散式最随机梯度下降（SGD）框架，它可以解决在多个节点中进行通信和本地更新的平衡，具有压缩通信和强收敛保证的特点。

Jul, 2021

分布式机器学习模式中的分布式学习是指许多客户端与中央服务器协同工作，以学习模型而无需共享自己的训练数据。本文介绍了一种采用随机梯度下降算法的分散式联邦学习（DFL）模型，作为一种更可伸缩的方法，以改善带有任意拓扑结构的代理网络中的学习性能。针对客户端和并行服务器之间的通信，提出了三种 DFL 调度策略，并在完全分散的 SGD 实现中对收敛性、准确性和损失进行了测试。实验结果表明所提出的调度策略对收敛速度和最终全局模型均有影响。

Nov, 2023

个性化联邦学习（PFL）在每个客户端寻找最优个性化模型，我们提出了一种分布式的个性化联邦学习（DPFL）框架，通过引入随机梯度推送和部分模型个性化，实现了线性分类器的个性化，达到了更好的收敛速度。

May, 2024

基于不对称拓扑结构和 Push-Sum 协议，DFedSGPSM 算法以解决共识优化问题为目标，结合 Sharpness Aware Minimization（SAM）优化器和本地动量，提高算法性能并减轻联邦学习中的本地异质过拟合问题。理论分析证明在非凸平滑环境下，DFedSGPSM 算法以 O (1/√T) 的收敛速率收敛于全局最优解，而更好的拓扑连接性能会得到更严格的上界。在 MNIST、CIFAR10 和 CIFAR100 数据集上进行的大量实验表明，与最先进的优化器相比，我们的算法具有更优越的性能。

Oct, 2023

我们提出了一种无服务器的去中心化联邦互联模型学习（DFML）框架，通过相互学习和循环改变监督和蒸馏信号的量，有效处理模型和数据异构性，并在各种条件下，在收敛速度和全局准确性上优于流行基准。

Feb, 2024

在无线设备到设备（D2D）网络中，去中心化联邦学习（DFL）作为智能移动设备普及的产物引起了极大的兴趣。DFL 相对于集中式联邦学习（CFL）降低了由于通信瓶颈而导致的中央服务器故障的风险。然而，DFL 面临着许多挑战，如多样环境中数据分布的严重异质性，以及 D2D 网络中采用用户数据报协议（UDP）导致的传输中断和包错误等。为了解决这些挑战，我们对 DFL 进行了全面的理论收敛性分析，并推导出一个收敛限。在该收敛限中，我们定义了一种称为不可靠链路感知邻域差异的新颖量，并制定了一个可解的优化目标，开发了一种考虑 DFL 中表示差异和不可靠链路的拓扑学习方法，命名为 ToLRDUL。在特征偏斜和标签偏斜的情况下进行了大量实验验证了我们提出方法的有效性，实验结果与我们的理论发现相一致，显示出了提高收敛速度和测试精度。

Dec, 2023

在分布式学习中，为了解决参数聚合带来的通信开销和单点故障问题，本论文研究了如何有效利用有限资源以提高模型性能。我们通过优化本地训练轮次的数量和节能聚合方案，提出了一个解决方案，该方案在不同设备上实现了更好的性能表现，并消耗比传统聚合方案更少的能量。

Mar, 2024

本文综述性地介绍了分散化联合学习的定义、方法、挑战、变体、技术和研究方向。通过在客户端之间建立直接通信的去中心化网络结构，分散化联合学习能够省略中心服务器，降低通信开销并实现较高的学习效率和隐私保护。

Jun, 2023

这篇论文提出了一种新的联邦学习框架，采用随机稀疏化和梯度扰动来增强差分隐私保证，结合加速技术减少隐私代价，并利用 Renyi DP 紧密评估端到端 DP 保证。实验结果验证了该方法在隐私保证和通信效率方面的优于之前的方法。

Aug, 2020