SCALA：使用连接激活和逻辑调整进行分割联合学习

May, 2024

SCALA：使用连接激活和逻辑调整进行分割联合学习

SCALA: Split Federated Learning with Concatenated Activations and Logit Adjustments

Jiarong Yang, Yuan Liu

TL;DR提出了一种名为 SCALA 的分布式机器学习框架，通过在服务器和客户端之间分离学习过程，并聚合基于分布式客户端数据更新的局部模型来共同训练共享模型。该框架解决了数据异质性和部分客户端参与导致的标签分布倾斜问题，并通过将客户端模型的激活连接起来以集中调整不同客户端之间的标签分布，并通过在服务器和客户端模型上执行的损失函数的 logit 调整来处理参与客户端的各个子集之间的标签分布变化。理论分析和实验证明了 SCALA 在公共数据集上的优越性。

Abstract

split federated learning (SFL) is a distributed machine learning framework which strategically divides the learning process between a server and clients and collaboratively trains a shared model by aggregating local models updated based on data from distributed clients. However,

split federated learning data heterogeneity partial client participation concatenated activations and logit adjustments label distribution skew

发现论文，激发创造

异构数据下分裂联邦学习的收敛分析

对于高度异构的数据，在并行联邦式 DE in the literature, and this paper aims to fill this gap. The analysis of SFL can be more challenging than that of federated learning (FL), due to the potential dual-paced updates at the clients and the main server. We provide convergence analysis of SFL for strongly convex and general convex objectives on heterogeneous data.

Feb, 2024

当 MiniBatch SGD 遇上 SplitFed Learning：收敛性分析与性能评估

提出了 MiniBatch-SFL 算法，通过将模型在切割层处分为两部分，在减轻客户端设备的计算负载的同时解决了分布式学习中的客户端偏移问题。实验证明，相对于传统的 SFL 和 FL 方法，MiniBatch-SFL 在高度非独立同分布数据上的准确性提升分别可达 24.1% 和 17.1%。

Aug, 2023

适应性资源受限边缘网络中的自适应拆分联邦学习

通过模型分割和客户端模型聚合，我们提出了一种适应资源受限边缘计算系统的新型资源自适应分割联邦学习（AdaptSFL）框架，以加速分割联邦学习并实现更好的训练性能。

Mar, 2024

基于代表共享的可扩展协作学习

通过在线知识蒸馏使用对比损失的新方法，保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征，并将平均最后隐藏层激活的特征表示发布到中央服务器，然后客户端使用对比目标在其个人模型中蒸馏其知识，从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用，本框架在多个数据集上使用不同的模型架构进行了性能基准测试。

Nov, 2022

可扩展的分布式学习：服务端局部梯度平均和学习率加速

本文提出了一种可扩展的拆分学习框架 SGLR，采用广播机制模仿 FL 且支持并行操作，并能在保证数据隐私的前提下，获得比 SplitFed 更高的准确率和较少的敏感信息泄露。

Dec, 2021

SplitFed 对数据包丢失的韧性：分割的位置在哪里，这是个问题

分析了分布式机器学习中的深度分裂学习及其对通信链路中数据丢失的鲁棒性，验证了不同分裂点对最终模型准确性的统计显著差异，为分布式机器学习的发展提供了重要洞察。

Jul, 2023

联邦倾斜标签学习与逻辑融合

通过在客户端引入额外的私有弱学习器与本地模型组成集成模型，FedBalance 方法能够通过融合两个模型的对数几率来纠正本地模型之间的优化偏差，从而改进本地模型的优化方向，提高少数类别的分类错误处罚并降低多数类别的注意力，从而得到更好的全局模型。

Nov, 2023

SplitFed: 联邦学习与 Split Learning 相遇

本研究介绍一种名为 Split-fed learning (SFL) 的新颖算法，它将 Federated learning (FL) 和 Split learning (SL) 相结合，解决了它们各自固有的缺点，并增强了数据隐私和模型鲁棒性。SFL 具有比 SL 更短的计算时间，并具有与 SL 相似的测试准确性和通信效率，非常适用于资源受限的环境中。

Apr, 2020

面向隐私保护的联邦学习进展：从联邦学习到分裂学习

该文章探讨了分散协作机器学习（DCML）范式下分布式学习（FL）和分裂学习（SL）的应用，以及它们与隐私的关系和代码实现。

Nov, 2020

高效准确的分割联邦学习

由于资源约束场景的优势，分割联邦学习（SFL）在 AIoT 系统中具有潜力。为了解决数据异构性和滞后问题，本文提出了一种名为滑动分割联邦学习（S^2FL）的新型 SFL 方法，该方法采用自适应滑动模型拆分策略和基于数据平衡的训练机制。实验结果表明，与传统的 SFL 相比，S^2FL 的推断准确性提高了 16.5％，训练加速了 3.54 倍。

Nov, 2023