驯服异构数据领域中联邦原型学习中的跨领域表示变异

Mar, 2024

驯服异构数据领域中联邦原型学习中的跨领域表示变异

Taming Cross-Domain Representation Variance in Federated Prototype Learning with Heterogeneous Data Domains

Lei Wang, Jieming Bian, Letian Zhang, Chen Chen, Jie Xu

TL;DRFedPLVM 通过引入方差感知的双层原型聚类和一种新颖的 α- 稀疏原型损失，解决交叉域特征表示的差异性，从而提高模型的泛化能力。在 Digit-5、Office-10 和 DomainNet 数据集上的评估显示了我们方法的优势。

Abstract

federated learning (FL) allows collaborative machine learning training without sharing private data. While most FL methods assume identical data domains across clients, real-world scenarios often involve heterogeneous data domains. Federated →

federated learning heterogeneous data domains prototype learning dual-level prototypes clustering alpha-sparsity prototype loss

发现论文，激发创造

FedProto: 跨异构客户端的联邦原型学习

该论文提出了一种新的联邦原型学习 (FedProto) 框架，借助全局原型而不是梯度来弥补跨客户端的异质性，从而提高局部模型的性能。

May, 2021

多层原型的动态异构联邦学习

提出了一种名为 Federated Multi-Level Prototypes (FedMLP) 的新型联邦学习框架，以应对异构数据分布和动态任务的联邦学习需求，并引入原型和语义原型来缓解概念漂移问题。

Dec, 2023

原型正则化提升联邦学习收敛性

在分布式机器学习技术中，联邦学习（FL）要求客户端在边缘服务器上协同训练共享模型，而不泄露其本地数据。本文引入了一种基于原型的正则化策略来解决数据分布的异质性，并通过实验结果表明，在 MNIST 和 Fashion-MNIST 上与最流行的基准 FedAvg 相比，我们的方法分别取得了 3.3% 和 8.9% 的平均测试准确率提升，而且在异质设置下具有快速收敛速度。

Jul, 2023

FedCCL：基于领域异质性的联邦双聚类特征对比

通过引入聚类表示、局部聚类和全局信号等方法，本研究提出了一个双聚类特征对比的联邦学习框架，旨在解决非独立同分布数据的挑战，以跨客户知识共享和一致的全局指导为重点，实验结果表明，在域内和域间异质性下，该框架取得了可比或更高的性能提升。

Apr, 2024

混合风格近似下的高效跨域联邦学习

我们介绍了一种在硬件受限环境中用于实现客户端适应性的隐私保护、资源高效的联邦学习概念。通过在源数据上进行服务器模型预训练，并在低端客户端上对目标数据进行细调，我们的方法通过从源域和目标域数据近似的实例级特征统计的概率混合来简化本地客户端适应过程。适应参数传回到中央服务器后进行全局聚合，初步结果表明我们的方法在保持竞争性性能的同时降低了计算和传输成本。

Dec, 2023

原型有助于联邦学习：朝着更快的收敛方向

该论文提出了一种基于原型的联邦学习框架，通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能，从而在两个基准数据集上实现了更高的准确性和相对高效的通信。

Mar, 2023

使用对比学习方法的预训练模型联邦学习

本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

Sep, 2022

使用类原型在联邦学习中解决数据异构性

本文提出了一种名为 FedNH 的新方法，通过组合类原型的均匀性和语义来改善在分类设置中的数据不均衡问题。实验证明了该方法对于局部模型的个性化和概括性都有显著的提高。

Dec, 2022

MP-FedCL：面向边缘智能的多原型联合对比学习

本文提出了一种使用多原型策略的联邦对比学习方法 (MP-FedCL)，旨在增强分散式智能服务中的隐私保护功能，并在标签和特征分布不独立且倾斜的情况下，证明了多原型策略的有效性，并在 MNIST，Digit-5，Office-10 和 DomainNet 等多个数据集上显示出优异的性能.

Apr, 2023

本地学习很重要：重新思考联邦学习中的数据异构性

本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

Nov, 2021