突破异构联邦学习的内存墙:逐步训练
提出了一种新的联邦学习方法 PruneFL,其通过自适应和分布式参数修剪来减少通信和计算开销,并在维持类似于原始模型的准确度的同时,利用全局数据集合进行模型训练。
Sep, 2019
本文在无线网络中为分层式联邦学习引入了模型剪枝技术,通过联合优化剪枝比例和无线资源分配,旨在最大化模型收敛速度以达到给定延迟阈值,并通过解耦优化问题和使用 KKT 条件得出了剪枝比例和无线资源分配的闭式解,并通过模拟结果展示了模型剪枝在 HFL 中实现了减少了约 50%的通信成本而实现了相似的学习准确率。
May, 2023
该研究提出了层次化的个性化联邦学习算法(HPFL),将用户设备(UEs)分层聚类,从而解决移动边缘计算(MEC)网络中的异构性问题,并在全局模型与边缘模型聚合之间寻求轮数损失最小化和轮延迟最小化之间的权衡。
Mar, 2023
我们提出了 'ProtoFL',基于原型表示蒸馏的无监督联邦学习,以增强全局模型的表示能力并降低往返通信成本,同时引入基于归一化流的本地一类分类器以改善有限数据的性能。我们在 MNIST、CIFAR-10、CIFAR-100、ImageNet-30 和 Keystroke-Dynamics 等五个广泛使用的基准测试上进行了大量实验,以展示我们提出的框架在文献中的先前方法上的卓越性能。
Jul, 2023
本文提出了一种名为分层联邦学习(H-FL)的新框架,通过运行时分布重构策略,利用中介将客户端重新分配并重新安排客户端的本地训练,设计了一种压缩校正机制,同时不牺牲模型性能,降低通信开销,引入局部训练的差分隐私,注入适量的噪声到完整模型的一部分中,从而提供隐私保障,在真实的图像识别任务的不同数据集上实验结果表明,我们的 H-FL 框架实现了最先进的性能。
Jun, 2021
嵌套联邦学习(NeFL)是一种通用的框架,通过深层次和宽度缩放有效地将模型划分为子模型,解决分布式学习中迟滞者对训练时间和性能的影响。此框架将模型解释为求解普通微分方程(ODEs)的方式,并通过解耦少量参数来解决训练多个具有不同架构的子模型时出现的不一致性。通过一系列实验,我们证明了 NeFL 可以显著提高性能,并且与联邦学习领域的最新研究相一致。
Aug, 2023
MuPFL 是一种创新的个性化联邦学习框架,通过多层次结构完全利用不同层次的计算资源,解决数据异质性对模型偏差的影响,缓解过拟合、加速训练,提高分类准确性,并在非独立同分布和长尾条件下取得显著的有效性和效率方面的进展。
May, 2024
本文提出了一种名为 DFedAlt 的个性化联邦学习框架,采用分散的部分模型训练方法,取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数,在点对点的方式构建局部个性化模型,同时采用局部 SAM(Sharpness Aware Minimization)优化器来更新共享参数,从而有效地解决了模型共享一致性不足和通信成本过高等问题。
May, 2023
Federated Modular Network (FedMN) is a novel Personalized Federated Learning approach that adapts to the joint distribution among local clients and produces personalized module block selection with a light-weighted routing hypernetwork, resulting in more effective and efficient learning compared to existing methods
Oct, 2022
本文提出了 ProxyFL,即基于代理的联邦学习,作为一种通信高效、隐私性强,并且能够支持模型异构的去中心化联邦学习方案。基于代理的模型交换运用 PushSum 方法,能消除传统联邦学习的模型同构限制,并使用差分隐私分析得到更强的隐私保护。实验结果表明,ProxyFL 在通信开销上具有优势,并且隐私性更强。
Nov, 2021