非联邦多任务分割学习的异构源
该研究提出了一种基于混合模型假设的联邦多任务学习方法,该方法可以在设备上学习个性化模型并实现客户端和服务端两种架构下的联邦 EM 算法的收敛,同时在联邦学习基准测试中获得了更高的准确性和公平性。
Aug, 2021
提出了一种新颖的拆分联邦学习(SFL)框架,它通过将具有不同计算资源的客户端配对,将神经网络模型逻辑分为两部分,每个客户端只计算分配给它的部分,从而显著提高了联邦学习的训练速度,并在独立相同分布(IID)和非 IID 数据分布中实现了高性能。
Aug, 2023
提出一种用于协调和训练多个同时进行的联邦学习任务的系统,名为 MAS(Merge and Split),通过多任务架构将多个任务合并为一个任务进行训练,并根据任务之间的亲和度在训练过程中将其拆分成两个或更多任务继续训练,实验证明 MAS 方法在性能优化方面胜过其他方法,同时减少训练时间 2 倍并降低 40% 的能源消耗。
Jul, 2023
通过在线知识蒸馏使用对比损失的新方法,保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征,并将平均最后隐藏层激活的特征表示发布到中央服务器,然后客户端使用对比目标在其个人模型中蒸馏其知识,从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用,本框架在多个数据集上使用不同的模型架构进行了性能基准测试。
Nov, 2022
多跳并行分裂学习(MP-SL)是一个模块化且可拓展的机器学习作为服务(MLaaS)框架,旨在促进资源受限设备参与分布式协作的机器学习模型训练,通过将模型分割为多个部分并利用多个计算节点以流水线方式进行训练,以减轻计算节点的内存需求,具有处理系统异构性的能力,尤其在涉及成本更低效的计算节点的场景中比水平扩展的单跳并行分裂学习设置更高效。
Jan, 2024
本研究介绍一种名为 Split-fed learning (SFL) 的新颖算法,它将 Federated learning (FL) 和 Split learning (SL) 相结合,解决了它们各自固有的缺点,并增强了数据隐私和模型鲁棒性。SFL 具有比 SL 更短的计算时间,并具有与 SL 相似的测试准确性和通信效率,非常适用于资源受限的环境中。
Apr, 2020
该论文在实际物联网设置中比较了联邦学习、分裂学习和分裂联邦学习的性能,并提出了一种广义分裂联邦学习模型来进一步优化在大规模 IoT 设备上的系统表现,同时还提出实用技巧来大幅减少通信开销。
Mar, 2021
本文提出了一种混合联邦分裂学习框架来利用联邦学习与分裂学习的优势,在无线网络中将多工器并行更新和灵活的分裂相结合,并采用预测生成对抗网络算法对多目标优化进行求解。实验结果表明,该算法在找到帕累托最优解方面优于其他算法,并且所提出的 HFSL 的解支配 FL 的解。
Sep, 2022
本文提出了一种可扩展的拆分学习框架 SGLR,采用广播机制模仿 FL 且支持并行操作,并能在保证数据隐私的前提下,获得比 SplitFed 更高的准确率和较少的敏感信息泄露。
Dec, 2021