SLPerf:用于基准测试分割学习的统一框架
本研究介绍一种名为 Split-fed learning (SFL) 的新颖算法,它将 Federated learning (FL) 和 Split learning (SL) 相结合,解决了它们各自固有的缺点,并增强了数据隐私和模型鲁棒性。SFL 具有比 SL 更短的计算时间,并具有与 SL 相似的测试准确性和通信效率,非常适用于资源受限的环境中。
Apr, 2020
该论文在实际物联网设置中比较了联邦学习、分裂学习和分裂联邦学习的性能,并提出了一种广义分裂联邦学习模型来进一步优化在大规模 IoT 设备上的系统表现,同时还提出实用技巧来大幅减少通信开销。
Mar, 2021
通过在线知识蒸馏使用对比损失的新方法,保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征,并将平均最后隐藏层激活的特征表示发布到中央服务器,然后客户端使用对比目标在其个人模型中蒸馏其知识,从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用,本框架在多个数据集上使用不同的模型架构进行了性能基准测试。
Nov, 2022
提出了一种新颖的拆分联邦学习(SFL)框架,它通过将具有不同计算资源的客户端配对,将神经网络模型逻辑分为两部分,每个客户端只计算分配给它的部分,从而显著提高了联邦学习的训练速度,并在独立相同分布(IID)和非 IID 数据分布中实现了高性能。
Aug, 2023
本文提出了一种可扩展的拆分学习框架 SGLR,采用广播机制模仿 FL 且支持并行操作,并能在保证数据隐私的前提下,获得比 SplitFed 更高的准确率和较少的敏感信息泄露。
Dec, 2021
分析了分布式机器学习中的深度分裂学习及其对通信链路中数据丢失的鲁棒性,验证了不同分裂点对最终模型准确性的统计显著差异,为分布式机器学习的发展提供了重要洞察。
Jul, 2023
边缘网络和移动计算的发展需要设计新的分布式机器学习机制来服务于异构数据源。本文提出了一种多任务分割学习(MTSL)框架,结合了分割学习(SL)的优点和分布式网络架构的灵活性,以实现高效处理异构数据源的多任务学习,具有快速收敛、低通信成本和对异质数据的鲁棒性等优势。
May, 2024
多跳并行分裂学习(MP-SL)是一个模块化且可拓展的机器学习作为服务(MLaaS)框架,旨在促进资源受限设备参与分布式协作的机器学习模型训练,通过将模型分割为多个部分并利用多个计算节点以流水线方式进行训练,以减轻计算节点的内存需求,具有处理系统异构性的能力,尤其在涉及成本更低效的计算节点的场景中比水平扩展的单跳并行分裂学习设置更高效。
Jan, 2024
在资源受限环境中,通过介绍聚类正则化和全局更新频率适应的控制算法,我们提出了一种新的训练模型系统,用于解决联合学习中的数据非独立同分布和模型收敛性问题,该系统在减少训练时间和通信成本的同时提高了准确性。
Jul, 2023