利用主子模型训练在边缘设备上进行的大型模型联邦学习

Aug, 2022

利用主子模型训练在边缘设备上进行的大型模型联邦学习

Federated Learning of Large Models at the Edge via Principal Sub-Model Training

Yue Niu, Saurav Prakash, Souvik Kundu, Sunwoo Lee, Salman Avestimehr

TL;DR本文提出了适用于边缘计算设备的 Principal Sub-Model（PriSM）训练方法，该方法利用模型的低秩结构和核正交性，通过选择不同的主核子集来创建客户端的子模型，从而实现较小计算和通信需求的同时减少了设备之间的数据传输，这是一种可行的方案来解决目前用户计算和通信能力有限的联邦学习瓶颈问题。

Abstract

Limited compute, memory, and communication capabilities of edge users create a significant bottleneck for federated learning (FL) of large models. Current literature typically tackles the challenge with a heterogeneous client setting or allows training to be offloaded to the server. Ho

edge computing federated learning principal sub-model low-rank approximation kernel orthogonal

发现论文，激发创造

subMFL：设备异构环境下适应性子模型生成的联邦学习

该研究提出了一种模型压缩方法，允许计算能力不同的设备参与联邦学习过程，从而提高资源受限设备的参与率，并保持先前轮次训练的权重，使生成的次模型在保持准确性的同时能够共享，提高参与度约 50%。

May, 2024

模型修剪使边缘设备上的联邦学习更高效

提出了一种新的联邦学习方法 PruneFL，其通过自适应和分布式参数修剪来减少通信和计算开销，并在维持类似于原始模型的准确度的同时，利用全局数据集合进行模型训练。

Sep, 2019

安全联邦子模型学习

提出了一种名为联邦子模型学习的新的联邦学习框架，允许客户端只下载所需的完整模型的部分（即子模型）并上传子模型更新，同时采用私有集合联合协议作为基石的安全联邦子模型学习方案，通过随机响应、安全聚合和 Bloom 过滤器等属性，赋予每个客户定制化的近似不可否认性，保护其隐私数据，以电子商务推荐方案为例，验证了该方案的可行性和优越性。

Nov, 2019

保护隐私的联邦原始 - 对偶学习用于模型稀疏化的非凸和非平滑问题

提出了一种用于非凸和非平滑联邦学习问题的新型原始 - 对偶算法，结合双向模型稀疏化和差分隐私，以保证强隐私，通过真实数据上的大量实验验证了该算法的有效性和比某些最先进的联邦学习算法更出色的性能，并验证了所有分析结果和特性。

Oct, 2023

互补稀疏化：面向联邦学习的低开销模型剪枝

提出了一种基于 Collaborative Pruning 机制的 Model Pruning 方法，名为 Complement Sparsification (CS)。该方法能够减少通信开销，降低客户端的计算复杂度，并在保持模型准确性的同时实现分布式机器学习，尤其适用于移动端和物联网设备。

Mar, 2023

部分联邦学习

我们提出了一种名为 Partial Federated Learning (PartialFL) 的新算法，该算法使用一部分数据模态或其中间表示来训练机器学习模型，并通过禁止数据标签传送到云端进行模型训练以提高隐私保护效果，我们在两个不同的多模态数据集上评估了我们的方法，并展示了有希望的结果。

Mar, 2024

基于代表共享的可扩展协作学习

通过在线知识蒸馏使用对比损失的新方法，保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征，并将平均最后隐藏层激活的特征表示发布到中央服务器，然后客户端使用对比目标在其个人模型中蒸馏其知识，从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用，本框架在多个数据集上使用不同的模型架构进行了性能基准测试。

Nov, 2022

隐私保护分布式 SVD 的联邦功率方法

通过 Federated Learning 框架的机制，我们提出了一种叫做 FedPower 的算法以支持现代设备用户集体学习中的部分奇异值分解。该算法通过多个本地迭代和全局聚合的替换，以改进通信效率，并解决了用户数据隐私保护的问题。

Mar, 2021

通过去中心化的部分模型训练实现更适合个性化的联邦学习

本文提出了一种名为 DFedAlt 的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部 SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

May, 2023

移动边缘网络中基于分层部分模型训练的抗闲杂器弹性联邦学习：应对计算异质性

联邦学习通过协作训练模型，避免数据共享，适用于资源有限的设备。本文提出了一种面向模型异构性的联邦学习算法，称为联邦部分模型训练（FedPMT），通过设备之间合作训练局部模型并贡献到全局模型，从而实现全局模型的优化训练。理论分析表明，与传统方法相比，FedPMT 算法具有类似的收敛速度，实证结果也证明其在学习准确性和完成时间之间取得了更好的平衡。

Nov, 2023