异构数据下分裂联邦学习的收敛分析

Feb, 2024

异构数据下分裂联邦学习的收敛分析

Convergence Analysis of Split Federated Learning on Heterogeneous Data

Pengchao Han, Chao Huang, Geng Tian, Ming Tang, Xin Liu

TL;DR对于高度异构的数据，在并行联邦式 DE in the literature, and this paper aims to fill this gap. The analysis of SFL can be more challenging than that of federated learning (FL), due to the potential dual-paced updates at the clients and the main server. We provide convergence analysis of SFL for strongly convex and general convex objectives on heterogeneous data.

Abstract

split federated learning (SFL) is a recent distributed approach for collaborative model training among multiple clients. In SFL, a global model is typically split into two parts, where clients train one part in a parallel federated manner, and a main server trains the other. Despite th

split federated learning convergence analysis parallel federated manner strongly convex objectives heterogeneous data

发现论文，激发创造

异构数据上顺序联邦学习的收敛性分析

本文研究了联邦学习（FL）方法中两种类别：并行 FL（PFL）和顺序 FL（SFL）。对于异构数据上的顺序 FL，相比并行 FL，其收敛理论仍然欠缺。本文建立了异构数据上强烈 / 一般 / 非凸目标的顺序 FL 的收敛保证。实验结果验证了在跨设备环境中，对于极度异构数据，SFL 优于 PFL 的非直观分析结果。

Nov, 2023

当 MiniBatch SGD 遇上 SplitFed Learning：收敛性分析与性能评估

提出了 MiniBatch-SFL 算法，通过将模型在切割层处分为两部分，在减轻客户端设备的计算负载的同时解决了分布式学习中的客户端偏移问题。实验证明，相对于传统的 SFL 和 FL 方法，MiniBatch-SFL 在高度非独立同分布数据上的准确性提升分别可达 24.1% 和 17.1%。

Aug, 2023

异构数据上连续联合学习的尖锐界限

对于异构数据上的序列联邦学习 (SFL) 的收敛理论尚缺乏解决方案，本研究通过建立上下界，针对强凸、一般凸和非凸目标函数分别得出上界，以及匹配的强凸和一般凸目标函数的下界，将 SFL 的上界与平行联邦学习 (PFL) 的上界进行对比，结果表明在高度异构的情况下，SFL 较 PFL 表现更出色，并通过二次函数和真实数据集的实验结果验证了这一反直觉的比较结果。

May, 2024

适应性资源受限边缘网络中的自适应拆分联邦学习

通过模型分割和客户端模型聚合，我们提出了一种适应资源受限边缘计算系统的新型资源自适应分割联邦学习（AdaptSFL）框架，以加速分割联邦学习并实现更好的训练性能。

Mar, 2024

高效异构联邦学习：一种基于匹配和分割学习的方法

提出了一种新颖的拆分联邦学习（SFL）框架，它通过将具有不同计算资源的客户端配对，将神经网络模型逻辑分为两部分，每个客户端只计算分配给它的部分，从而显著提高了联邦学习的训练速度，并在独立相同分布（IID）和非 IID 数据分布中实现了高性能。

Aug, 2023

SplitFed: 联邦学习与 Split Learning 相遇

本研究介绍一种名为 Split-fed learning (SFL) 的新颖算法，它将 Federated learning (FL) 和 Split learning (SL) 相结合，解决了它们各自固有的缺点，并增强了数据隐私和模型鲁棒性。SFL 具有比 SL 更短的计算时间，并具有与 SL 相似的测试准确性和通信效率，非常适用于资源受限的环境中。

Apr, 2020

部分参与下加速混合联邦学习的收敛

本文提出了一种名为 FedCLG 的新算法，它可以在类似于混合 FL 的情形下防止部分参与的限制，同时保护客户隐私并实现模型聚合。数值实验表明，该算法胜过现有方法。

Apr, 2023

有效的半监督异构参与者联邦学习

在资源受限环境中，通过介绍聚类正则化和全局更新频率适应的控制算法，我们提出了一种新的训练模型系统，用于解决联合学习中的数据非独立同分布和模型收敛性问题，该系统在减少训练时间和通信成本的同时提高了准确性。

Jul, 2023

SplitFed 对数据包丢失的韧性：分割的位置在哪里，这是个问题

分析了分布式机器学习中的深度分裂学习及其对通信链路中数据丢失的鲁棒性，验证了不同分裂点对最终模型准确性的统计显著差异，为分布式机器学习的发展提供了重要洞察。

Jul, 2023

高效准确的分割联邦学习

由于资源约束场景的优势，分割联邦学习（SFL）在 AIoT 系统中具有潜力。为了解决数据异构性和滞后问题，本文提出了一种名为滑动分割联邦学习（S^2FL）的新型 SFL 方法，该方法采用自适应滑动模型拆分策略和基于数据平衡的训练机制。实验结果表明，与传统的 SFL 相比，S^2FL 的推断准确性提高了 16.5％，训练加速了 3.54 倍。

Nov, 2023