面向计算受限异构设备的联邦学习:综述
这篇论文介绍了一种完全分布式的联邦学习算法,该算法的优点在于避免了数据披露并具有扩展性商用前景,可以在包括物联网设备在内的网络中使用。
Dec, 2019
提出了一种叫做联邦学习的分散式学习结构,该结构可以在物联网设备中实现机器学习,通过处理来自不同客户端的数据,以预测未来事件。此方法可解决传统机器学习中遇到的通信开销、隐私泄露和安全性等问题,同时也避免了中央服务器的使用。本文讨论了在客户端资源有限的情况下实施联邦学习的挑战和应用。
Feb, 2020
本文提出名为HeteroFL的新型联邦学习框架,旨在解决具有非常不同计算和通信能力的异构客户端的问题,并通过几种策略增强FL训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估,通过自适应分配子网络来提高FL训练的计算和通信效率。
Oct, 2020
本文提出了一个应对标签异质性的框架,该框架通过简单的α加权联邦聚合计算分数获得了最多16.7%的平均确定性准确性提高,并在树莓派2上进行了实验以演示其设备内功能。
Nov, 2020
本文提出了一种基于设备采样和设备到设备卸载组合优化的联邦学习优化算法,通过优化采样节点和数据卸载配置来最大化FedL训练的准确性,有效提高了训练模型的准确性和资源利用率。
Jan, 2021
本篇文章提出了FedAdapt,这是一种联邦学习框架,通过层次化的离线和强化学习优化,将深度神经网络中的特定层进行远程卸载,以解决物联网设备执行效率、设备计算异构性和网络带宽变化等方面的挑战,实验证明,相比传统的联邦学习,FedAdapt可以将典型物联网设备的训练时间缩短一半以上,可以将极端滞后的训练时间和总体训练时间缩短高达57%,在不损失准确性的情况下还可以将训练时间缩短多达40%。
Jul, 2021
本文探讨了如何应对异构设备和用户的挑战,提出了一种新型的聚合算法FedDist,该算法能够考虑到客户端的差异性而不影响泛化能力,并在人类活动识别普适领域上通过对比测试发现其表现更好。
Oct, 2021
本文通过在大量物联网和边缘设备网络上系统地进行广泛实验,重点关注异构情况,以探究在设备上实施联合学习的可行性,并呈现了其现实世界的特征,包括学习性能和操作成本,为研究人员和从业者提供有价值的见解,促进联邦学习的实用性,并帮助改进现有的联邦学习系统设计。
May, 2023
物联网网络和数据处理技术的发展对分布式学习方法中的联邦学习具有巨大潜力,本论文通过两个实例展示了联邦学习在物联网网络中实现高效和保护隐私的机器学习的潜力,并通过模拟研究了隐私和准确性之间的权衡关系。
Dec, 2023
在工业物联网中,由于隐私和安全问题,很难将大量数据集中到一起训练深度学习模型,因此联邦学习,一种保护数据隐私的分布式机器学习范式,在物联网中得到广泛应用。然而,在实际的联邦学习中,数据分布通常在设备之间存在较大差异,数据的异构性将对模型的性能产生不利影响。此外,物联网中的联邦学习通常涉及大量设备的训练,而云服务器的通信资源有限成为训练的瓶颈。为了解决上述问题,本文将集中式联邦学习与分散式联邦学习相结合,设计了一种半分散式边缘云设备层次化联邦学习框架,可以缓解数据异构性的影响,并且能够在物联网中大规模部署。为了解决数据异构性的影响,我们在每个环状集群中使用了增量次梯度优化算法来改善环状集群模型的泛化能力。我们的大量实验证明,我们的方法可以有效缓解数据异构性的影响,并减轻云服务器中的通信瓶颈。
Mar, 2024