Jan, 2024

MP-SL：多跳并行分割学习

PDF
TL;DR多跳并行分裂学习（MP-SL）是一个模块化且可拓展的机器学习作为服务（MLaaS）框架，旨在促进资源受限设备参与分布式协作的机器学习模型训练，通过将模型分割为多个部分并利用多个计算节点以流水线方式进行训练，以减轻计算节点的内存需求，具有处理系统异构性的能力，尤其在涉及成本更低效的计算节点的场景中比水平扩展的单跳并行分裂学习设置更高效。
federated learningparallel split learningmultihop parallel slresource-constrained devicesdistributed ml model training
发现论文，激发创造
  • 评估和优化物联网分布式机器学习技术

    该论文在实际物联网设置中比较了联邦学习、分裂学习和分裂联邦学习的性能，并提出了一种广义分裂联邦学习模型来进一步优化在大规模 IoT 设备上的系统表现，同时还提出实用技巧来大幅减少通信开销。

    Mar, 2021

  • 非联邦多任务分割学习的异构源

    边缘网络和移动计算的发展需要设计新的分布式机器学习机制来服务于异构数据源。本文提出了一种多任务分割学习（MTSL）框架，结合了分割学习（SL）的优点和分布式网络架构的灵活性，以实现高效处理异构数据源的多任务学习，具有快速收敛、低通信成本和对异质数据的鲁棒性等优势。

    May, 2024

  • 并行分割学习的工作流优化

    该论文研究了如何通过拆分神经网络模型并进行任务分配和调度决策来实现减少训练时间的目标，并提出了一种基于对称性的问题分解解决方法和一种可扩展的解决方法。通过数值评估，证明该策略能够找到接近最优解，并且使训练时间比基准方案缩短 52.3%。

    Feb, 2024

  • 6G 边缘网络中的分布式学习

    本文主要介绍了在 6G 移动网络时代，如何将分布式边缘计算资源与联邦学习相结合，并引入分裂学习以处理海量资源受限的物联网设备，重点讨论边缘分裂学习及其在多边缘协作与移动管理中的设计问题与待解决的开放性问题。

    Jun, 2023

  • 无线通信网络中加速的分裂式联邦学习

    本文介绍了一种模型分区 / 切割的方法，将深度神经网络切分为两个部分，分别在设备和服务器上进行联合训练和联合推理，旨在通过交替优化解决划分点选择和带宽分配问题，以最小化系统的延迟

    Oct, 2023

  • 异构无线网络中动态分布式模型训练的并行连续学习

    本文对联邦学习进行了拓展，提出了并行连续学习 (PSL)，利用 PSL 的框架，实现了从三个方面的拓展：网络（通过设备之间的设备对设备通信进行分散合作），异构性（考虑到训练设备之间的数量、数据来源和性能差异），以及接近度（设备之间不同的距离和不同的访问点）。PSL 实现了模型的分散和本地模型凝聚作为联邦学习方法的一部分，并提出了网络感知动态模型跟踪以优化模型学习和资源效率之间的权衡。

    Feb, 2022

  • 高效异构联邦学习：一种基于匹配和分割学习的方法

    提出了一种新颖的拆分联邦学习（SFL）框架，它通过将具有不同计算资源的客户端配对，将神经网络模型逻辑分为两部分，每个客户端只计算分配给它的部分，从而显著提高了联邦学习的训练速度，并在独立相同分布（IID）和非 IID 数据分布中实现了高性能。

    Aug, 2023

  • 基于预测 GAN 的混合联邦分割学习多目标优化

    本文提出了一种混合联邦分裂学习框架来利用联邦学习与分裂学习的优势，在无线网络中将多工器并行更新和灵活的分裂相结合，并采用预测生成对抗网络算法对多目标优化进行求解。实验结果表明，该算法在找到帕累托最优解方面优于其他算法，并且所提出的 HFSL 的解支配 FL 的解。

    Sep, 2022

  • SplitFed: 联邦学习与 Split Learning 相遇

    本研究介绍一种名为 Split-fed learning (SFL) 的新颖算法，它将 Federated learning (FL) 和 Split learning (SL) 相结合，解决了它们各自固有的缺点，并增强了数据隐私和模型鲁棒性。SFL 具有比 SL 更短的计算时间，并具有与 SL 相似的测试准确性和通信效率，非常适用于资源受限的环境中。

    Apr, 2020

  • 面向隐私保护的联邦学习进展：从联邦学习到分裂学习

    该文章探讨了分散协作机器学习（DCML）范式下分布式学习（FL）和分裂学习（SL）的应用，以及它们与隐私的关系和代码实现。

    Nov, 2020