DFedADMM：分散式联邦学习的双约束控制模型不一致性
本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。
May, 2020
提出一种采用分布式训练（DFL）的通用分散式最随机梯度下降（SGD）框架，它可以解决在多个节点中进行通信和本地更新的平衡，具有压缩通信和强收敛保证的特点。
Jul, 2021
该研究提出一种新的联邦学习算法FedADMM，解决具有非光滑正则化器的非凸复合优化问题，以促进通信效率和数据隐私。作者证明了在一般的采样模型下，在不是所有客户端都能参与给定通信轮的情况下，FedADMM会收敛。
Mar, 2022
本文提出了一种新的FedADMM协议用于非凸目标函数下的联邦学习，利用双重变量解决统计异质性，该算法通过扩展Lagrangian以保持每轮相同的通信成本和推广FedAvg/Prox。在真实数据集上的实验结果表明，FedADMM在减少所需轮数的通信效率方面优于所有基线方法，尤其在大规模系统中其优势更为明显。
Apr, 2022
本文提出了一种名为DualFL的新型训练算法，可以解决联邦学习中分布式优化问题，并实现了在不同条件下的通信加速，在使用不精确本地解算器时也保持其最佳的通信复杂度。此外，这是第一个即使在成本函数为非平滑或非强凸时也能实现通信加速的联邦学习算法。
May, 2023
本文主要研究联邦学习中的非凸优化问题，提出了一种简单的算法FedPBC来解决在通信不稳定情况下Federated Average无法最小化全局目标函数的问题。该算法通过延迟全局模型广播来实现隐式的客户之间的消息传递，从而达到了预期的收敛特性。
Jun, 2023
基于不对称拓扑结构和Push-Sum协议，DFedSGPSM算法以解决共识优化问题为目标，结合Sharpness Aware Minimization（SAM）优化器和本地动量，提高算法性能并减轻联邦学习中的本地异质过拟合问题。理论分析证明在非凸平滑环境下，DFedSGPSM算法以O(1/√T)的收敛速率收敛于全局最优解，而更好的拓扑连接性能会得到更严格的上界。在MNIST、CIFAR10和CIFAR100数据集上进行的大量实验表明，与最先进的优化器相比，我们的算法具有更优越的性能。
Oct, 2023
本研究分析了不完美通信渠道对分散式联邦学习（D-FL）的影响，并确定了每轮训练的最佳本地汇总次数，以适应网络拓扑和不完美通道。通过从需要完美通道和汇总的理想全局模型中推导出具有不完美通道的本地汇总D-FL模型的偏差，揭示了过多的本地汇总可能会积累通信错误并降低收敛性。本文还分析了基于该偏差的D-FL的收敛上限。通过最小化该上限，确定了在通道知识缺失的情况下平衡通信错误积累的最佳本地汇总次数。实验证实了我们的收敛分析，同时在两个广泛考虑的图像分类任务中确定了最佳的本地汇总次数。结果表明，在训练准确性方面，具有最佳本地汇总次数的D-FL可以比其潜在替代方案提高10%以上。
May, 2024
本研究针对联邦学习中的通信噪声问题，提出了一种新颖的算法，以增强模型的鲁棒性并减少通信负载。通过将加权最小二乘回归作为例子，采用交替方向乘子法（ADMM），该算法在每个参与客户端进行新型本地模型更新，从而显著改善了在噪声环境下的模型性能。这一方法及其理论分析展示了在随机客户端选择和噪音通信条件下的收敛性，以及其实际效果的有效性。
Sep, 2024