Nov, 2023

高效准确的分割联邦学习

PDF
TL;DR由于资源约束场景的优势，分割联邦学习（SFL）在 AIoT 系统中具有潜力。为了解决数据异构性和滞后问题，本文提出了一种名为滑动分割联邦学习（S^2FL）的新型 SFL 方法，该方法采用自适应滑动模型拆分策略和基于数据平衡的训练机制。实验结果表明，与传统的 SFL 相比，S^2FL 的推断准确性提高了 16.5％，训练加速了 3.54 倍。
split federated learningsflaiot systemsdata heterogeneitystragglers
发现论文，激发创造
  • 评估和优化物联网分布式机器学习技术

    该论文在实际物联网设置中比较了联邦学习、分裂学习和分裂联邦学习的性能，并提出了一种广义分裂联邦学习模型来进一步优化在大规模 IoT 设备上的系统表现，同时还提出实用技巧来大幅减少通信开销。

    Mar, 2021

  • 无线通信网络中加速的分裂式联邦学习

    本文介绍了一种模型分区 / 切割的方法，将深度神经网络切分为两个部分，分别在设备和服务器上进行联合训练和联合推理，旨在通过交替优化解决划分点选择和带宽分配问题，以最小化系统的延迟

    Oct, 2023

  • 高效异构联邦学习：一种基于匹配和分割学习的方法

    提出了一种新颖的拆分联邦学习（SFL）框架，它通过将具有不同计算资源的客户端配对，将神经网络模型逻辑分为两部分，每个客户端只计算分配给它的部分，从而显著提高了联邦学习的训练速度，并在独立相同分布（IID）和非 IID 数据分布中实现了高性能。

    Aug, 2023

  • 适应性资源受限边缘网络中的自适应拆分联邦学习

    通过模型分割和客户端模型聚合，我们提出了一种适应资源受限边缘计算系统的新型资源自适应分割联邦学习（AdaptSFL）框架，以加速分割联邦学习并实现更好的训练性能。

    Mar, 2024

  • SplitFed: 联邦学习与 Split Learning 相遇

    本研究介绍一种名为 Split-fed learning (SFL) 的新颖算法，它将 Federated learning (FL) 和 Split learning (SL) 相结合，解决了它们各自固有的缺点，并增强了数据隐私和模型鲁棒性。SFL 具有比 SL 更短的计算时间，并具有与 SL 相似的测试准确性和通信效率，非常适用于资源受限的环境中。

    Apr, 2020

  • 基于预测 GAN 的混合联邦分割学习多目标优化

    本文提出了一种混合联邦分裂学习框架来利用联邦学习与分裂学习的优势，在无线网络中将多工器并行更新和灵活的分裂相结合，并采用预测生成对抗网络算法对多目标优化进行求解。实验结果表明，该算法在找到帕累托最优解方面优于其他算法，并且所提出的 HFSL 的解支配 FL 的解。

    Sep, 2022

  • SplitFed 对数据包丢失的韧性：分割的位置在哪里，这是个问题

    分析了分布式机器学习中的深度分裂学习及其对通信链路中数据丢失的鲁棒性，验证了不同分裂点对最终模型准确性的统计显著差异，为分布式机器学习的发展提供了重要洞察。

    Jul, 2023

  • 当 MiniBatch SGD 遇上 SplitFed Learning：收敛性分析与性能评估

    提出了 MiniBatch-SFL 算法，通过将模型在切割层处分为两部分，在减轻客户端设备的计算负载的同时解决了分布式学习中的客户端偏移问题。实验证明，相对于传统的 SFL 和 FL 方法，MiniBatch-SFL 在高度非独立同分布数据上的准确性提升分别可达 24.1% 和 17.1%。

    Aug, 2023

  • 异构数据下分裂联邦学习的收敛分析

    对于高度异构的数据，在并行联邦式 DE in the literature, and this paper aims to fill this gap. The analysis of SFL can be more challenging than that of federated learning (FL), due to the potential dual-paced updates at the clients and the main server. We provide convergence analysis of SFL for strongly convex and general convex objectives on heterogeneous data.

    Feb, 2024

  • 面向隐私保护的联邦学习进展：从联邦学习到分裂学习

    该文章探讨了分散协作机器学习（DCML）范式下分布式学习（FL）和分裂学习（SL）的应用，以及它们与隐私的关系和代码实现。

    Nov, 2020