原型正则化提升联邦学习收敛性

Jul, 2023

Boosting Federated Learning Convergence with Prototype Regularization

Yu Qiao, Huy Q. Le, Choong Seon Hong

TL;DR在分布式机器学习技术中，联邦学习（FL）要求客户端在边缘服务器上协同训练共享模型，而不泄露其本地数据。本文引入了一种基于原型的正则化策略来解决数据分布的异质性，并通过实验结果表明，在 MNIST 和 Fashion-MNIST 上与最流行的基准 FedAvg 相比，我们的方法分别取得了 3.3% 和 8.9% 的平均测试准确率提升，而且在异质设置下具有快速收敛速度。

Abstract

As a distributed machine learning technique, federated learning (FL) requires clients to collaboratively train a shared model with an edge server without leaking their local data. However, the heterogeneous data distribution among clients often leads to a decrease in model performance.

federated learning homogeneity prototype-based regularization distributed clients convergence rate

发现论文，激发创造

原型有助于联邦学习：朝着更快的收敛方向

该论文提出了一种基于原型的联邦学习框架，通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能，从而在两个基准数据集上实现了更高的准确性和相对高效的通信。

Mar, 2023

FedProto: 跨异构客户端的联邦原型学习

该论文提出了一种新的联邦原型学习 (FedProto) 框架，借助全局原型而不是梯度来弥补跨客户端的异质性，从而提高局部模型的性能。

May, 2021

基于动态正则化的联邦学习

我们提出了一种新的联邦学习方法，通过动态正则化器在限制设备异构性和大量设备、部分参与和不平衡数据的同时，在凸和非凸情况下实现了高效训练。

Nov, 2021

本地训练中减轻遗忘的联邦学习加速

本文提出了 FedReg 算法来解决分布式学习中的灾难性遗忘问题，通过在本地训练阶段使用生成的伪数据作为正则化器，以保护用户隐私并提高算法的收敛速度。

Mar, 2022

个性化生成网络的异构联邦学习

通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。

Aug, 2023

持续本地训练以改进联邦模型的初始化

本文提出了基于本地持续训练策略的联邦学习算法，通过评估一小部分代理数据集上的重要性权重并将其用于约束本地训练，从而减少了权重分歧并不断将不同本地客户端的知识整合到全局模型中，显著提高了联邦模型的初始性能。

May, 2020

多层原型的动态异构联邦学习

提出了一种名为 Federated Multi-Level Prototypes (FedMLP) 的新型联邦学习框架，以应对异构数据分布和动态任务的联邦学习需求，并引入原型和语义原型来缓解概念漂移问题。

Dec, 2023

本地学习很重要：重新思考联邦学习中的数据异构性

本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

Nov, 2021

联邦学习的多层分支正则化

为克服联邦学习中数据异构和不平衡的问题，本文提出了一种新的构架规范技术，通过在每个本地模型中构建多个辅助分支，并通过在线知识蒸馏使本地模型的主路径表示与辅助混合路径保持一致，进而增强了全局模型的鲁棒性。该技术在非 iid 环境中有效并适用于各种联邦学习框架，并且不会产生额外的通信成本。实验结果表明，与现有方法相比，该技术具有显着的准确性和效率提高。

Jul, 2022

使用对比学习方法的预训练模型联邦学习

本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

Sep, 2022