Nov, 2023

高效的异构联邦学习与广义重力球动量

PDF
TL;DR以边缘设备为学习对象的联邦学习 (Federated Learning, FL) 是解决隐私限制场景下的分布式数据学习的最先进方法。本论文提出了 FedHBM 算法，通过引入新的动量泛化方法，有效解决 FL 中的统计异质性问题，无需增加通信开销，并在多个视觉和自然语言处理数据集上经过大量实验验证了该算法相对于其他方法在非独立同分布场景下的更好的模型质量和更快的收敛速度。
发现论文，激发创造
  • HeteroFL：用于异构客户端的计算与通信高效联邦学习

    本文提出名为 HeteroFL 的新型联邦学习框架，旨在解决具有非常不同计算和通信能力的异构客户端的问题，并通过几种策略增强 FL 训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估，通过自适应分配子网络来提高 FL 训练的计算和通信效率。

    Oct, 2020

  • H-FL：面向联邦学习的分层通信高效和隐私保护体系结构

    本文提出了一种名为分层联邦学习（H-FL）的新框架，通过运行时分布重构策略，利用中介将客户端重新分配并重新安排客户端的本地训练，设计了一种压缩校正机制，同时不牺牲模型性能，降低通信开销，引入局部训练的差分隐私，注入适量的噪声到完整模型的一部分中，从而提供隐私保障，在真实的图像识别任务的不同数据集上实验结果表明，我们的 H-FL 框架实现了最先进的性能。

    Jun, 2021

  • FedH2L：具有模型和统计异质性的联邦学习

    该论文提出了 FedH2L 方法，通过相互蒸馏和分散学习的方式来实现联邦学习中不同参与者拥有不同网络结构和数据分布的情况下训练一个强而全面的全局模型。

    Jan, 2021

  • 具有移动性的数据异构层次联邦学习

    本研究探讨基于数据异构和移动性的分层联邦学习，通过分析其性能并利用移动性改善数据异构，结果表明移动性可以提高 15.1％的模型准确性。

    Jun, 2023

  • 异构数据感知联邦学习

    本研究提出一种新方法来解决联邦学习中的问题，并在本文所述的公开基准数据集（如 Femnist）以及自己收集的数据集（即流量分类）上验证了该方法的有效性，结果表明这种方法在极端情况下具有显著的优势。

    Nov, 2020

  • 带噪标签的高效鲁棒联邦学习通信优化

    本文研究基于联邦学习的标签噪声问题，并提出了一种基于学习的重新加权方法来减轻该问题的影响。同时，本文还提出了一种名为 Comm-FedBiO 的方法来解决通信效率低的 Federated Bilevel Optimization 问题，并在多个真实世界数据集上验证了其表现优于其他方法。

    Jun, 2022

  • HiFlash: 具有自适应陈旧度控制和异构感知客户端 - 边缘关联的通信高效分层联合学习

    利用 hierarchical federated learning paradigm (HiFL)，基于手机边缘计算和同步客户端 - 边缘模型聚合与异步边缘 - 云模型聚合相结合的方式，显著降低了 WAN 传输的流量，提高了 HiFlash 的系统性能和精度。

    Jan, 2023

  • 異構聯邦學習中以歷史為鑑

    该论文提出了一种名为 Federated Historical Learning (FedHist) 的新型异步联邦学习框架，通过对服务器上缓存的历史全局梯度进行加权融合来解决了非 IID 数据和梯度滞后所带来的挑战，同时引入了一种智能的 l2 范数放大方案来进一步提高训练过程的效率和稳定性，实验证明 FedHist 在收敛性能和测试准确率方面优于现有方法。

    Dec, 2023

  • 本地学习很重要：重新思考联邦学习中的数据异构性

    本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

    Nov, 2021

  • 异构联邦学习：现状与研究挑战

    通过对异构联邦学习中的研究挑战和最新方法的概述，提出了一种新的现有方法分类法，并讨论了异构联邦学习的关键和具有潜力的未来研究方向。

    Jul, 2023