SplitFed: 联邦学习与 Split Learning 相遇

AAAIApr, 2020

SplitFed: 联邦学习与 Split Learning 相遇

SplitFed: When Federated Learning Meets Split Learning

Chandra Thapa, M.A.P. Chamikara, Seyit Camtepe, Lichao Sun

TL;DR本研究介绍一种名为 Split-fed learning (SFL) 的新颖算法，它将 Federated learning (FL) 和 Split learning (SL) 相结合，解决了它们各自固有的缺点，并增强了数据隐私和模型鲁棒性。SFL 具有比 SL 更短的计算时间，并具有与 SL 相似的测试准确性和通信效率，非常适用于资源受限的环境中。

Abstract

federated learning (FL) and split learning (SL) are two popular distributed machine learning approaches. Both follow a model-to-data scenario; clients train and test machine learning models without sharing raw da

federated learning split learning splitfed learning differential privacy resource-constrained environments

发现论文，激发创造

面向隐私保护的联邦学习进展：从联邦学习到分裂学习

该文章探讨了分散协作机器学习（DCML）范式下分布式学习（FL）和分裂学习（SL）的应用，以及它们与隐私的关系和代码实现。

Nov, 2020

SplitFed 对数据包丢失的韧性：分割的位置在哪里，这是个问题

分析了分布式机器学习中的深度分裂学习及其对通信链路中数据丢失的鲁棒性，验证了不同分裂点对最终模型准确性的统计显著差异，为分布式机器学习的发展提供了重要洞察。

Jul, 2023

SplitFed Learning 的安全性分析

本文首次对 SplitFed 的强韧性进行了实证分析，结果表明 SplitFed 在面对模型毒化攻击时降低精度的程度是 Federated Learning 的 1/5，这是由于 SplitFed 具有较小的维度和更高的抗攻击能力。

Dec, 2022

基于代表共享的可扩展协作学习

通过在线知识蒸馏使用对比损失的新方法，保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征，并将平均最后隐藏层激活的特征表示发布到中央服务器，然后客户端使用对比目标在其个人模型中蒸馏其知识，从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用，本框架在多个数据集上使用不同的模型架构进行了性能基准测试。

Nov, 2022

高效异构联邦学习：一种基于匹配和分割学习的方法

提出了一种新颖的拆分联邦学习（SFL）框架，它通过将具有不同计算资源的客户端配对，将神经网络模型逻辑分为两部分，每个客户端只计算分配给它的部分，从而显著提高了联邦学习的训练速度，并在独立相同分布（IID）和非 IID 数据分布中实现了高性能。

Aug, 2023

评估和优化物联网分布式机器学习技术

该论文在实际物联网设置中比较了联邦学习、分裂学习和分裂联邦学习的性能，并提出了一种广义分裂联邦学习模型来进一步优化在大规模 IoT 设备上的系统表现，同时还提出实用技巧来大幅减少通信开销。

Mar, 2021

当 MiniBatch SGD 遇上 SplitFed Learning：收敛性分析与性能评估

提出了 MiniBatch-SFL 算法，通过将模型在切割层处分为两部分，在减轻客户端设备的计算负载的同时解决了分布式学习中的客户端偏移问题。实验证明，相对于传统的 SFL 和 FL 方法，MiniBatch-SFL 在高度非独立同分布数据上的准确性提升分别可达 24.1% 和 17.1%。

Aug, 2023

可扩展的分布式学习：服务端局部梯度平均和学习率加速

本文提出了一种可扩展的拆分学习框架 SGLR，采用广播机制模仿 FL 且支持并行操作，并能在保证数据隐私的前提下，获得比 SplitFed 更高的准确率和较少的敏感信息泄露。

Dec, 2021

优化分割点的容错分割联邦学习

研究调查了 SplitFed 在模型分割点的数据丢失健壮性，通过分析在不同点（浅分割或深分割）处分割模型对最终全局模型性能的影响，探讨了 SplitFed 的各种参数聚合策略。在人类胚胎图像分割任务上进行的实验表明，深分割点具有显著优势。

May, 2024

高效准确的分割联邦学习

由于资源约束场景的优势，分割联邦学习（SFL）在 AIoT 系统中具有潜力。为了解决数据异构性和滞后问题，本文提出了一种名为滑动分割联邦学习（S^2FL）的新型 SFL 方法，该方法采用自适应滑动模型拆分策略和基于数据平衡的训练机制。实验结果表明，与传统的 SFL 相比，S^2FL 的推断准确性提高了 16.5％，训练加速了 3.54 倍。

Nov, 2023