Apr, 2022

FedADMM: 适应系统异构性的强大联邦深度学习框架

PDF
TL;DR本文提出了一种新的 FedADMM 协议用于非凸目标函数下的联邦学习，利用双重变量解决统计异质性，该算法通过扩展 Lagrangian 以保持每轮相同的通信成本和推广 FedAvg/Prox。在真实数据集上的实验结果表明，FedADMM 在减少所需轮数的通信效率方面优于所有基线方法，尤其在大规模系统中其优势更为明显。
发现论文，激发创造
  • FedADMM：一种允许部分参与的联合原始对偶算法

    该研究提出一种新的联邦学习算法 FedADMM，解决具有非光滑正则化器的非凸复合优化问题，以促进通信效率和数据隐私。作者证明了在一般的采样模型下，在不是所有客户端都能参与给定通信轮的情况下，FedADMM 会收敛。

    Mar, 2022

  • DFedADMM：分散式联邦学习的双约束控制模型不一致性

    通过使用新的 DFL 算法，DFedADMM 和 DFedADMM-SAM，我们解决了去中心化联邦学习中的局部一致性和局部异构过拟合的问题，并在 MNIST、CIFAR10 和 CIFAR100 数据集上验证了算法在泛化性能和收敛速度方面的优越表现。

    Aug, 2023

  • FedADMM-InSa：一种联邦学习的非精确自适应 ADMM 方法

    通过设计 FedADMM-InSa 算法中的近似准则和自适应方案，本研究旨在解决联邦学习中性能恶化和参数调优的问题，实验证明该算法能够显著减少本地计算负载并加速学习过程。

    Feb, 2024

  • FedPD: 一种具有最优速率和适应非独立同分布数据的联邦学习框架

    本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。

    May, 2020

  • FedDM：基于迭代分布匹配的通信高效联邦学习

    本研究提出了 FedDM，旨在通过多个本地替代函数来构建全局训练目标，从而减少通信轮数，改善模型质量，并在保留差分隐私的同时证明该算法的有效性。

    Jul, 2022

  • AdaFed：自适应共同下降方向的公平联邦学习

    AdaFed 是一种解决联邦学习中公平性问题的方法，通过自适应地调整服务器的更新方向，使所有客户端的损失函数递减，并且具有更高损失值的客户端的损失函数递减速度更快，从而优于最先进的公平联邦学习方法。

    Jan, 2024

  • 基于 ADMM 的高效联邦学习通信方案

    本文提出了基于 ADMM 的联邦学习算法，具有通信高效性、收敛线性以及计算复杂度低等优点。

    Oct, 2021

  • 基于动态注意力的通信高效联邦学习

    本文提出了一种自适应训练算法 AdaFL，该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率，实验结果表明相对于 FedAvg 算法，AdaFL 算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。

    Aug, 2021

  • 预处理联邦学习

    在本文中，我们提出了基于局部适应性和服务器端适应性的新的通信高效的联邦学习算法，通过使用新型协方差矩阵预处理器，我们的方法在理论上提供了收敛保证，并在 i.i.d. 和非 i.i.d. 设置下取得了最先进的性能。

    Sep, 2023

  • FedADC: 带漂移控制的加速联邦学习

    本文提出了一种新的联邦学习算法 FedADC，可以在分布式环境下加速核心算法 SGD 并控制数据漂移问题，同时不会增加计算和通信负载，并通过实验验证了其优越性。

    Dec, 2020