面向隐私保护的联邦学习进展:从联邦学习到分裂学习
本研究介绍一种名为 Split-fed learning (SFL) 的新颖算法,它将 Federated learning (FL) 和 Split learning (SL) 相结合,解决了它们各自固有的缺点,并增强了数据隐私和模型鲁棒性。SFL 具有比 SL 更短的计算时间,并具有与 SL 相似的测试准确性和通信效率,非常适用于资源受限的环境中。
Apr, 2020
通过在线知识蒸馏使用对比损失的新方法,保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征,并将平均最后隐藏层激活的特征表示发布到中央服务器,然后客户端使用对比目标在其个人模型中蒸馏其知识,从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用,本框架在多个数据集上使用不同的模型架构进行了性能基准测试。
Nov, 2022
本文首次对 SplitFed 的强韧性进行了实证分析,结果表明 SplitFed 在面对模型毒化攻击时降低精度的程度是 Federated Learning 的 1/5,这是由于 SplitFed 具有较小的维度和更高的抗攻击能力。
Dec, 2022
分析了分布式机器学习中的深度分裂学习及其对通信链路中数据丢失的鲁棒性,验证了不同分裂点对最终模型准确性的统计显著差异,为分布式机器学习的发展提供了重要洞察。
Jul, 2023
在机器学习系统中,通过联邦学习作为一个安全的分布式机器学习方法,有效提升隐私安全;它利用区块链技术将机器学习模型转移到边缘服务器,通过这种机制保证了集中式和分散式系统的高效处理和数据存储需求,强调可伸缩性、隐私考虑和成本有效的通信。本文对最近的联邦学习应用进行了分析和比较,以评估其效率、准确性和隐私保护。然而,鉴于联邦学习复杂且不断演化的特点,明确需要进一步研究来解决知识间的差距并有效应对该领域面临的挑战。在本文中,我们将最近的文献分为以下几个类别:隐私保护、资源分配、案例研究分析和应用,此外,在每个章节的末尾,我们还对参考文献中提出的开放领域和未来方向进行了总结,为研究人员提供了领域演进的深入视角。
Oct, 2023
提出了一种新颖的拆分联邦学习(SFL)框架,它通过将具有不同计算资源的客户端配对,将神经网络模型逻辑分为两部分,每个客户端只计算分配给它的部分,从而显著提高了联邦学习的训练速度,并在独立相同分布(IID)和非 IID 数据分布中实现了高性能。
Aug, 2023
本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题,提出了一种更加通用的算法设计框架、攻击场景和防御方法,致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。
Feb, 2023
本文提供了关于联邦学习的概述,并重点关注医疗保健领域。通过中央协调器服务器共享全局深度学习模型,解决了隐私保护需求并探讨了联邦学习遇到的挑战和未来发展方向,其中使用多方计算、同态加密、差分隐私和随机梯度下降等多种隐私方法。
May, 2022
该论文在实际物联网设置中比较了联邦学习、分裂学习和分裂联邦学习的性能,并提出了一种广义分裂联邦学习模型来进一步优化在大规模 IoT 设备上的系统表现,同时还提出实用技巧来大幅减少通信开销。
Mar, 2021