Dec, 2023

異構聯邦學習中以歷史為鑑

PDF
TL;DR该论文提出了一种名为 Federated Historical Learning (FedHist) 的新型异步联邦学习框架，通过对服务器上缓存的历史全局梯度进行加权融合来解决了非 IID 数据和梯度滞后所带来的挑战，同时引入了一种智能的 l2 范数放大方案来进一步提高训练过程的效率和稳定性，实验证明 FedHist 在收敛性能和测试准确率方面优于现有方法。
发现论文，激发创造
  • FedH2L：具有模型和统计异质性的联邦学习

    该论文提出了 FedH2L 方法，通过相互蒸馏和分散学习的方式来实现联邦学习中不同参与者拥有不同网络结构和数据分布的情况下训练一个强而全面的全局模型。

    Jan, 2021

  • 异构设备上的异步联邦学习：综述

    该研究基于一项新的分类机制，综合分析和总结了现有各种异步 FL 范式，包括异构设备上的设备异构性、数据异构性、隐私和安全性，以及异构设备上的应用。该研究揭示了该领域面临的挑战并提出了潜在的研究方向。

    Sep, 2021

  • 本地学习很重要：重新思考联邦学习中的数据异构性

    本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

    Nov, 2021

  • FedHiSyn: 面向资源和数据异构的分层同步联邦学习框架

    本文提供了一种基于异步联邦学习的分层同步 FL 框架：FedHiSyn，首先将设备基于其计算能力分成少量的几类，然后在这些类别中通过同步更新和设备间通信相结合的方式解决了异质性数据和呆滞时间等问题，实验结果表明在精度与效率方面的表现均优于其他六种基线方法。

    Jun, 2022

  • 异步多服务器联邦学习用于地理分布式客户端

    提出了一种全新的异步架构的多服务器联邦学习系统，解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题，与之前的基线方法相比，收敛速度更快且在地理分布环境中所需时间减少了 61%。

    Jun, 2024

  • 联邦互助学习

    本文提出了一种新的联邦学习范例，名为联邦互助学习（FML），以处理三种不同类型的异质性，允许客户在共同设计通用模型的同时独立设计个性化并为不同场景和任务的个性化定制模型。

    Jun, 2020

  • 对应用于解决联邦学习中非独立同分布和异质数据特性的不同技术的综述

    联邦学习是一种机器学习方法，可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练，而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题，并探索了目前设计用于解决这些挑战的算法。

    Jan, 2024

  • 异构数据感知联邦学习

    本研究提出一种新方法来解决联邦学习中的问题，并在本文所述的公开基准数据集（如 Femnist）以及自己收集的数据集（即流量分类）上验证了该方法的有效性，结果表明这种方法在极端情况下具有显著的优势。

    Nov, 2020

  • 利用本地更新的分层聚类来提高非独立同分布数据的联邦学习

    本文提出了一种修改的联邦学习 (FL+HC) 方法，通过引入分层聚类步骤将客户端分为相似的集群，然后对这些集群进行独立并行的训练，实现在非独立同分布的数据环境下的模型训练，通过该方法可以使模型的性能、收敛速度、精度都有所提升。

    Apr, 2020

  • 针对统计异质性的个性化联邦学习

    联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习，同时确保了数据保密性。然而，由于不同客户数据分布导致的统计异质性问题，会带来一些挑战，例如不足的个性化和收敛速度慢。为了解决上述问题，本文简要总结了个性化联邦学习领域的当前研究进展，概述了个性化联邦学习的概念，审视了相关技术，并强调了当前的努力。此外，本文还讨论了个性化联邦学习的潜在进一步研究和障碍。

    Feb, 2024