本研究首次尝试在实际物联网环境中评估和比较联邦学习（FL）和分裂神经网络（SplitNN）的学习性能和设备实现开销，并考虑了各种数据集、模型结构、多个客户端和各种性能指标。通过实证评估 FL 和 SplitNN 在不同类型的数据分布下的学习性能，我们发现在不平衡数据分布下 SplitNN 的学习性能优于 FL，但在极端非独立同分布（非 IID）数据分布下 SplitNN 的学习性能劣于 FL。同时，在 Raspberry Pis 上综合评估了 FL 和 SplitNN 的实现开销，包括训练时间、通信开销、功耗和内存使用等方面。我们的研究结果表明，在物联网场景中，由于通信流量是主要关注的问题，FL 表现比 SplitNN 更好，因为 FL 相对于 SplitNN 具有显著更低的通信开销。此外，我们揭示了 SplitNN 的一些未被认识到的局限性，为未来的研究奠定了基础。

Mar, 2020

由于资源约束场景的优势，分割联邦学习（SFL）在 AIoT 系统中具有潜力。为了解决数据异构性和滞后问题，本文提出了一种名为滑动分割联邦学习（S^2FL）的新型 SFL 方法，该方法采用自适应滑动模型拆分策略和基于数据平衡的训练机制。实验结果表明，与传统的 SFL 相比，S^2FL 的推断准确性提高了 16.5％，训练加速了 3.54 倍。

Nov, 2023

本研究介绍一种名为 Split-fed learning (SFL) 的新颖算法，它将 Federated learning (FL) 和 Split learning (SL) 相结合，解决了它们各自固有的缺点，并增强了数据隐私和模型鲁棒性。SFL 具有比 SL 更短的计算时间，并具有与 SL 相似的测试准确性和通信效率，非常适用于资源受限的环境中。

Apr, 2020

该文章探讨了分散协作机器学习（DCML）范式下分布式学习（FL）和分裂学习（SL）的应用，以及它们与隐私的关系和代码实现。

Nov, 2020

本文介绍了一种模型分区 / 切割的方法，将深度神经网络切分为两个部分，分别在设备和服务器上进行联合训练和联合推理，旨在通过交替优化解决划分点选择和带宽分配问题，以最小化系统的延迟

Oct, 2023

提出了一种新颖的拆分联邦学习（SFL）框架，它通过将具有不同计算资源的客户端配对，将神经网络模型逻辑分为两部分，每个客户端只计算分配给它的部分，从而显著提高了联邦学习的训练速度，并在独立相同分布（IID）和非 IID 数据分布中实现了高性能。

Aug, 2023

通过在线知识蒸馏使用对比损失的新方法，保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征，并将平均最后隐藏层激活的特征表示发布到中央服务器，然后客户端使用对比目标在其个人模型中蒸馏其知识，从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用，本框架在多个数据集上使用不同的模型架构进行了性能基准测试。

Nov, 2022

多跳并行分裂学习（MP-SL）是一个模块化且可拓展的机器学习作为服务（MLaaS）框架，旨在促进资源受限设备参与分布式协作的机器学习模型训练，通过将模型分割为多个部分并利用多个计算节点以流水线方式进行训练，以减轻计算节点的内存需求，具有处理系统异构性的能力，尤其在涉及成本更低效的计算节点的场景中比水平扩展的单跳并行分裂学习设置更高效。

Jan, 2024

在物联网领域，部署深度学习模型来处理由物联网设备生成或收集的数据是一个重要的挑战。为了解决这些挑战，我们提出了一种创新的边缘辅助 U 形拆分联邦学习（EUSFL）框架，利用边缘服务器高性能的能力来辅助物联网设备进行模型训练和优化过程。在这个框架中，我们利用联邦学习使数据持有者能够在不共享数据的情况下协作训练模型，从而通过仅传输模型参数来增强数据隐私保护。此外，通过在物联网设备上进行局部训练，我们基于拆分学习将神经网络分成三个部分。通过利用边缘服务器更强的计算能力，我们的框架有效地减少了整体训练时间，使不同能力的物联网设备能够高效地执行训练任务。此外，我们提出了一种新颖的名为 LabelDP 的噪声机制，以确保数据特征和标签能够安全地抵抗重建攻击，消除隐私泄露的风险。我们的理论分析和实验结果表明，EUSFL 可以与各种聚合算法集成，在不同的物联网设备计算能力下保持良好的性能，并显著减少了训练时间和本地计算开销。

Nov, 2023

本文提出了一种混合联邦分裂学习框架来利用联邦学习与分裂学习的优势，在无线网络中将多工器并行更新和灵活的分裂相结合，并采用预测生成对抗网络算法对多目标优化进行求解。实验结果表明，该算法在找到帕累托最优解方面优于其他算法，并且所提出的 HFSL 的解支配 FL 的解。

Sep, 2022