DualFL: 基于对偶的联邦学习算法，在一般凸域中具有通信加速

May, 2023

DualFL: 基于对偶的联邦学习算法，在一般凸域中具有通信加速

DualFL: A Duality-based Federated Learning Algorithm with Communication Acceleration in the General Convex Regime

Jongho Park, Jinchao Xu

TL;DR本文提出了一种名为 DualFL 的新型训练算法，可以解决联邦学习中分布式优化问题，并实现了在不同条件下的通信加速，在使用不精确本地解算器时也保持其最佳的通信复杂度。此外，这是第一个即使在成本函数为非平滑或非强凸时也能实现通信加速的联邦学习算法。

Abstract

We propose a novel training algorithm called dualfl (Dualized Federated Learning), for solving a distributed optimization problem in federated learning. Our approach is based on a specific dual formulation of the

dualfl dualized federated learning communication acceleration distributed optimization problem inexact local solvers

发现论文，激发创造

保护隐私的联邦原始 - 对偶学习用于模型稀疏化的非凸和非平滑问题

提出了一种用于非凸和非平滑联邦学习问题的新型原始 - 对偶算法，结合双向模型稀疏化和差分隐私，以保证强隐私，通过真实数据上的大量实验验证了该算法的有效性和比某些最先进的联邦学习算法更出色的性能，并验证了所有分析结果和特性。

Oct, 2023

联邦复合优化

本文探讨了面向非平滑损失函数的联邦学习问题，提出了一种新的基于原始 - 对偶算法的 FedDualAvg 算法，并通过理论分析和实验结果证明了其优于其他基线算法。

Nov, 2020

复合异构数据联邦学习

我们提出了一种新算法来解决复合联合学习问题，该算法通过策略性地分离近端算子和通信来管理非光滑正则化，并且在没有关于数据相似性的任何假设的情况下解决客户端漂移。此外，每个工作者使用局部更新来降低与服务器的通信频率，并每次通信轮传输仅一个 d 维向量。我们证明了我们的算法线性收敛到最优解的邻域，并在数值实验中展示了我们算法相对于最先进的方法的优越性。

Sep, 2023

通过平衡通信折衷来实现快速联邦学习

根据局部更新系数和梯度压缩稀疏预算之间的权衡方式，提出了一种新的快速联邦学习方案（Fast FL），该方案通过动态地调整这两种变量来实现最小化学习误差。结果表明，Fast FL 能够快速且一致地实现比文献中类似方案更高的精确度。

May, 2021

联邦学习中快速复合优化和统计恢复

本文研究了在联邦学习设置下一类组合优化和统计恢复问题，提出了新的算法，旨在从优化和统计两个角度开拓这一领域，实验表明该方法比其他基线优秀。

Jul, 2022

联邦学习中的显式个性化和本地化训练：倍增通讯加速

Scafflix 是一种新算法，它将显式个性化与本地训练有效地集成，利用这两种技术实现了双倍加速的通信，这一方法旨在实现 Federated Learning 中客户端个性化的联合学习。

May, 2023

基于动态注意力的通信高效联邦学习

本文提出了一种自适应训练算法 AdaFL，该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率，实验结果表明相对于 FedAvg 算法，AdaFL 算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。

Aug, 2021

DFedADMM：分散式联邦学习的双约束控制模型不一致性

通过使用新的 DFL 算法，DFedADMM 和 DFedADMM-SAM，我们解决了去中心化联邦学习中的局部一致性和局部异构过拟合的问题，并在 MNIST、CIFAR10 和 CIFAR100 数据集上验证了算法在泛化性能和收敛速度方面的优越表现。

Aug, 2023

FedADMM: 适应系统异构性的强大联邦深度学习框架

本文提出了一种新的 FedADMM 协议用于非凸目标函数下的联邦学习，利用双重变量解决统计异质性，该算法通过扩展 Lagrangian 以保持每轮相同的通信成本和推广 FedAvg/Prox。在真实数据集上的实验结果表明，FedADMM 在减少所需轮数的通信效率方面优于所有基线方法，尤其在大规模系统中其优势更为明显。

Apr, 2022

个性化联合学习：统一框架和普适的优化技术

本文研究对个性化 Federated Learning 进行优化，提出了通用的优化器，应用于现有的针对个性化 Federated Learning 的目标函数，包括局部 SGD、加速坐标下降 / 加速 SVRCD 等，得到适用于文献中所有基于强凸个性化 FL 模型的普适优化理论，提高了通信效率和本地计算效率。

Feb, 2021