资源受限的物联网客户端与大型服务器模型联邦知识传输微调
提出了一种叫做联邦学习的分散式学习结构,该结构可以在物联网设备中实现机器学习,通过处理来自不同客户端的数据,以预测未来事件。此方法可解决传统机器学习中遇到的通信开销、隐私泄露和安全性等问题,同时也避免了中央服务器的使用。本文讨论了在客户端资源有限的情况下实施联邦学习的挑战和应用。
Feb, 2020
本文提出了一种新的框架,叫做联合边缘智能(FEI),以评估物联网网络的能量成本和边缘服务器的本地数据处理能力,从而使边缘服务器适时地请求足够训练令人满意的模型所需的数据。同时,本文引入了映射函数来评估边缘服务器的计算负载,最后采用基于ADMM的方法来优化物联网网络的能量成本和边缘服务器的平均计算资源利用率。该文证明,所提出的算法不会泄露任何数据,也不会泄漏物联网网络的拓扑信息。仿真结果表明,FEI框架可以在有限的牺牲模型收敛性能的情况下,显著提高物联网网络和边缘服务器的资源效率。
Nov, 2020
本篇文章提出了FedAdapt,这是一种联邦学习框架,通过层次化的离线和强化学习优化,将深度神经网络中的特定层进行远程卸载,以解决物联网设备执行效率、设备计算异构性和网络带宽变化等方面的挑战,实验证明,相比传统的联邦学习,FedAdapt可以将典型物联网设备的训练时间缩短一半以上,可以将极端滞后的训练时间和总体训练时间缩短高达57%,在不损失准确性的情况下还可以将训练时间缩短多达40%。
Jul, 2021
提出一种名为Full-stack FL的新型联邦学习框架,通过使用分层网络架构和标签驱动的知识蒸馏技术,解决大规模 IoT 网络下的可扩展性问题和异构数据环境下的鲁棒性问题,从而在所有全局蒸馏中显著提高了联邦学习的效率。
Sep, 2022
本文通过在大量物联网和边缘设备网络上系统地进行广泛实验,重点关注异构情况,以探究在设备上实施联合学习的可行性,并呈现了其现实世界的特征,包括学习性能和操作成本,为研究人员和从业者提供有价值的见解,促进联邦学习的实用性,并帮助改进现有的联邦学习系统设计。
May, 2023
通过对资源受限物联网环境中实施联邦学习的挑战和解决方案的综合调研,从客户端和服务器两个层面上,关注有限的客户端资源、异构客户端数据的存在、服务器容量和高通信成本等问题,并评估它们在各种场景中的有效性。此外,基于应用位置(即物联网客户端和联邦学习服务器),本文还提出了新的评估指标,以允许研究人员在资源受限的物联网设备上评估其解决方案。
Aug, 2023
本文提出了一种名为FedAL的基于对抗学习的联邦知识蒸馏方法,以解决不同客户端的数据异构性问题,通过使用服务器作为鉴别器指导客户端的本地模型训练,实现客户端之间的共识模型输出,并通过较少遗忘的正则化方法保证客户端之间的知识传递和学习能力。实验证明,FedAL及其变体比其他联邦知识蒸馏方法具有更高的准确率。
Nov, 2023
利用优化的无服务器工作流程,在FaaS环境下实现基于知识蒸馏的异构客户端模型的联邦学习(FL)系统,实验证明无服务器FedDF比无服务器FedMD更快、成本更低且对极端非独立同分布数据分布更加鲁棒。
Feb, 2024
在工业物联网中,由于隐私和安全问题,很难将大量数据集中到一起训练深度学习模型,因此联邦学习,一种保护数据隐私的分布式机器学习范式,在物联网中得到广泛应用。然而,在实际的联邦学习中,数据分布通常在设备之间存在较大差异,数据的异构性将对模型的性能产生不利影响。此外,物联网中的联邦学习通常涉及大量设备的训练,而云服务器的通信资源有限成为训练的瓶颈。为了解决上述问题,本文将集中式联邦学习与分散式联邦学习相结合,设计了一种半分散式边缘云设备层次化联邦学习框架,可以缓解数据异构性的影响,并且能够在物联网中大规模部署。为了解决数据异构性的影响,我们在每个环状集群中使用了增量次梯度优化算法来改善环状集群模型的泛化能力。我们的大量实验证明,我们的方法可以有效缓解数据异构性的影响,并减轻云服务器中的通信瓶颈。
Mar, 2024