Aug, 2023

DFedADMM：分散式联邦学习的双约束控制模型不一致性

PDF
TL;DR通过使用新的 DFL 算法，DFedADMM 和 DFedADMM-SAM，我们解决了去中心化联邦学习中的局部一致性和局部异构过拟合的问题，并在 MNIST、CIFAR10 和 CIFAR100 数据集上验证了算法在泛化性能和收敛速度方面的优越表现。
decentralized federated learningdfl algorithmslocal inconsistencylocal heterogeneous overfittingsharpness-aware minimization
发现论文，激发创造
  • FedADMM: 适应系统异构性的强大联邦深度学习框架

    本文提出了一种新的 FedADMM 协议用于非凸目标函数下的联邦学习，利用双重变量解决统计异质性，该算法通过扩展 Lagrangian 以保持每轮相同的通信成本和推广 FedAvg/Prox。在真实数据集上的实验结果表明，FedADMM 在减少所需轮数的通信效率方面优于所有基线方法，尤其在大规模系统中其优势更为明显。

    Apr, 2022

  • 分散式联邦学习：平衡通讯与计算成本

    提出一种采用分布式训练（DFL）的通用分散式最随机梯度下降（SGD）框架，它可以解决在多个节点中进行通信和本地更新的平衡，具有压缩通信和强收敛保证的特点。

    Jul, 2021

  • 非对称分散式联邦学习

    基于不对称拓扑结构和 Push-Sum 协议，DFedSGPSM 算法以解决共识优化问题为目标，结合 Sharpness Aware Minimization（SAM）优化器和本地动量，提高算法性能并减轻联邦学习中的本地异质过拟合问题。理论分析证明在非凸平滑环境下，DFedSGPSM 算法以 O (1/√T) 的收敛速率收敛于全局最优解，而更好的拓扑连接性能会得到更严格的上界。在 MNIST、CIFAR10 和 CIFAR100 数据集上进行的大量实验表明，与最先进的优化器相比，我们的算法具有更优越的性能。

    Oct, 2023

  • FedADMM：一种允许部分参与的联合原始对偶算法

    该研究提出一种新的联邦学习算法 FedADMM，解决具有非光滑正则化器的非凸复合优化问题，以促进通信效率和数据隐私。作者证明了在一般的采样模型下，在不是所有客户端都能参与给定通信轮的情况下，FedADMM 会收敛。

    Mar, 2022

  • FedADMM-InSa：一种联邦学习的非精确自适应 ADMM 方法

    通过设计 FedADMM-InSa 算法中的近似准则和自适应方案，本研究旨在解决联邦学习中性能恶化和参数调优的问题，实验证明该算法能够显著减少本地计算负载并加速学习过程。

    Feb, 2024

  • DualFL: 基于对偶的联邦学习算法，在一般凸域中具有通信加速

    本文提出了一种名为 DualFL 的新型训练算法，可以解决联邦学习中分布式优化问题，并实现了在不同条件下的通信加速，在使用不精确本地解算器时也保持其最佳的通信复杂度。此外，这是第一个即使在成本函数为非平滑或非强凸时也能实现通信加速的联邦学习算法。

    May, 2023

  • 去中心化稀疏联邦学习：带有普适收敛保证的统一方法

    分散式联邦学习的 DSpodFL 方法通过模拟现实环境中的不同异质性形式来泛化间歇性，实现了更快的训练速度和对系统参数变化的鲁棒性。

    Feb, 2024

  • DFML：分散式联邦互联学习

    我们提出了一种无服务器的去中心化联邦互联模型学习（DFML）框架，通过相互学习和循环改变监督和蒸馏信号的量，有效处理模型和数据异构性，并在各种条件下，在收敛速度和全局准确性上优于流行基准。

    Feb, 2024

  • 利用无线信道进行可扩展和隐私保护的联邦学习

    通过模拟传输和交替方向乘法的方法（ADMM），在单个信道上利用无线通道波动和干扰来改善隐私、带宽效率和可伸缩性的可扩展联合学习机制，可实现收敛保证的隐私保护，同时提高收敛速度、可扩展性、通信带宽和能量效率。

    Jul, 2020

  • 基于 ADMM 的高效联邦学习通信方案

    本文提出了基于 ADMM 的联邦学习算法，具有通信高效性、收敛线性以及计算复杂度低等优点。

    Oct, 2021