Oct, 2023

无线通信网络中加速的分裂式联邦学习

PDF
TL;DR本文介绍了一种模型分区 / 切割的方法，将深度神经网络切分为两个部分，分别在设备和服务器上进行联合训练和联合推理，旨在通过交替优化解决划分点选择和带宽分配问题，以最小化系统的延迟
artificial intelligencedeep neural networkmodel partitionsplit learningsystem latency
发现论文，激发创造
  • 高效异构联邦学习：一种基于匹配和分割学习的方法

    提出了一种新颖的拆分联邦学习（SFL）框架，它通过将具有不同计算资源的客户端配对，将神经网络模型逻辑分为两部分，每个客户端只计算分配给它的部分，从而显著提高了联邦学习的训练速度，并在独立相同分布（IID）和非 IID 数据分布中实现了高性能。

    Aug, 2023

  • 高效准确的分割联邦学习

    由于资源约束场景的优势，分割联邦学习（SFL）在 AIoT 系统中具有潜力。为了解决数据异构性和滞后问题，本文提出了一种名为滑动分割联邦学习（S^2FL）的新型 SFL 方法，该方法采用自适应滑动模型拆分策略和基于数据平衡的训练机制。实验结果表明，与传统的 SFL 相比，S^2FL 的推断准确性提高了 16.5％，训练加速了 3.54 倍。

    Nov, 2023

  • 基于预测 GAN 的混合联邦分割学习多目标优化

    本文提出了一种混合联邦分裂学习框架来利用联邦学习与分裂学习的优势，在无线网络中将多工器并行更新和灵活的分裂相结合，并采用预测生成对抗网络算法对多目标优化进行求解。实验结果表明，该算法在找到帕累托最优解方面优于其他算法，并且所提出的 HFSL 的解支配 FL 的解。

    Sep, 2022

  • 评估和优化物联网分布式机器学习技术

    该论文在实际物联网设置中比较了联邦学习、分裂学习和分裂联邦学习的性能，并提出了一种广义分裂联邦学习模型来进一步优化在大规模 IoT 设备上的系统表现，同时还提出实用技巧来大幅减少通信开销。

    Mar, 2021

  • 适应性资源受限边缘网络中的自适应拆分联邦学习

    通过模型分割和客户端模型聚合，我们提出了一种适应资源受限边缘计算系统的新型资源自适应分割联邦学习（AdaptSFL）框架，以加速分割联邦学习并实现更好的训练性能。

    Mar, 2024

  • 6G 边缘网络中的分布式学习

    本文主要介绍了在 6G 移动网络时代，如何将分布式边缘计算资源与联邦学习相结合，并引入分裂学习以处理海量资源受限的物联网设备，重点讨论边缘分裂学习及其在多边缘协作与移动管理中的设计问题与待解决的开放性问题。

    Jun, 2023

  • 面向隐私保护的联邦学习进展：从联邦学习到分裂学习

    该文章探讨了分散协作机器学习（DCML）范式下分布式学习（FL）和分裂学习（SL）的应用，以及它们与隐私的关系和代码实现。

    Nov, 2020

  • SplitFed 对数据包丢失的韧性：分割的位置在哪里，这是个问题

    分析了分布式机器学习中的深度分裂学习及其对通信链路中数据丢失的鲁棒性，验证了不同分裂点对最终模型准确性的统计显著差异，为分布式机器学习的发展提供了重要洞察。

    Jul, 2023

  • 面向物联网的联邦学习与分割学习的端到端评估

    本研究首次尝试在实际物联网环境中评估和比较联邦学习（FL）和分裂神经网络（SplitNN）的学习性能和设备实现开销，并考虑了各种数据集、模型结构、多个客户端和各种性能指标。通过实证评估 FL 和 SplitNN 在不同类型的数据分布下的学习性能，我们发现在不平衡数据分布下 SplitNN 的学习性能优于 FL，但在极端非独立同分布（非 IID）数据分布下 SplitNN 的学习性能劣于 FL。同时，在 Raspberry Pis 上综合评估了 FL 和 SplitNN 的实现开销，包括训练时间、通信开销、功耗和内存使用等方面。我们的研究结果表明，在物联网场景中，由于通信流量是主要关注的问题，FL 表现比 SplitNN 更好，因为 FL 相对于 SplitNN 具有显著更低的通信开销。此外，我们揭示了 SplitNN 的一些未被认识到的局限性，为未来的研究奠定了基础。

    Mar, 2020

  • 模型分离允许的联邦边缘学习的训练延迟最小化

    使用边缘计算和分段学习相结合的模型分割允许 FL（SFL）框架，以缓解在使用联邦学习（FL）训练深度神经网络（DNNs）时客户端面临的计算能力短缺问题，并旨在通过最小化训练延迟而不损失测试准确性。

    Jul, 2023