基于对比编码器预训练的聚类联邦学习用于异种数据

Nov, 2023

基于对比编码器预训练的聚类联邦学习用于异种数据

Contrastive encoder pre-training-based clustered federated learning for heterogeneous data

Ye Lin Tun, Minh N.H. Nguyen, Chu Myaet Thwal, Jinwoo Choi, Choong Seon Hong

TL;DR使用自监督对比学习和客户端聚类的方法，提出了基于对比预训练的聚类联合学习方法，以改善联邦学习系统的模型收敛性和性能。

Abstract

federated learning (FL) is a promising approach that enables distributed clients to collaboratively train a global model while preserving their data privacy. However, FL often suffers from data heterogeneity prob

federated learning data heterogeneity clustered federated learning self-supervised contrastive learning model convergence

发现论文，激发创造

使用对比学习方法的预训练模型联邦学习

本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

Sep, 2022

面向异构客户的个性化联邦学习与聚类知识迁移

本研究提出了一种适用于高度数据和系统异构的个性化联邦学习框架 PerFed-CKT，可使用不同的模型架构，通过簇内共同训练和知识传输来降低通信成本并在测试中获得高精度。

Sep, 2021

聚类联邦学习：在隐私约束下的模型无关分布式多任务优化

本研究提出了一种基于聚类的联邦多任务学习框架（Clustered Federated Learning），可在保持数据隐私性的同时，更好地解决联邦学习中本地数据分布不同的问题，并在深度卷积和循环神经网络上进行实验证明了其有效性。

Oct, 2019

利用群组并行联邦学习提升客户参与度

通过将网络划分为较小的分区或队列，CPFL 提出了一种新的学习方法，其中每个队列独立地使用 FL 来培训全局模型，直到收敛，然后使用一次性的知识蒸馏和跨领域、无标签的数据集将各队列生成的模型统一起来。它通过在 CIFAR-10 数据集上进行实际追踪和非 IID 数据分布的详细实验，研究了队列数量、模型准确性、训练时间、计算和通信资源之间的平衡。与传统 FL 相比，CPFL 在拥有四个队列、非 IID 数据分布和 CIFAR-10 的情况下，减少了约 1.9 倍的训练时间和约 1.3 倍的资源使用，只有微小的测试准确率下降。

May, 2024

编码联邦学习

本研究提出了一种编码联邦学习方法，解决了异构计算平台上 (如无线边缘) 的迟滞计算和通信以及时模型更新的问题，并通过预计算冗余渐变来加速全局模型收敛达四倍以上。

Feb, 2020

个性化语义沟通的联邦对比学习

设计了一个支持个性化语义通信的联邦对比学习 (FedCL) 框架，它通过在多个客户端之间协作训练本地语义编码器和基站所拥有的全局语义解码器来实现。该框架不需要客户端模型聚合，支持异构语义编码器。此外，为了解决分布式客户端间异构数据集引起的语义不平衡问题，我们采用对比学习训练语义质心生成器 (SCG)。该生成器获得代表性的全局语义质心，具有内语义紧凑性和跨语义可分离性。因此，它为学习有区分性的本地语义特征提供优越的监督。此外，我们进行了理论分析，量化了 FedCL 的收敛性能。仿真结果验证了所提出的 FedCL 框架在任务性能和稳健性方面相对于其他分布式学习基准的优越性，尤其在低信噪比和高度异构数据场景下。

Jun, 2024

CCFC：连接联邦聚类和对比学习

通过使用集群对比模型来学习友好的聚类表示，并以此为基础，提出了一种新的联邦聚类方法，称为集群对比联邦聚类（CCFC），其聚类性能甚至在某些情况下是最佳基准方法的两倍，并且在处理设备故障方面也显示出卓越的性能。

Jan, 2024

FedCCL：基于领域异质性的联邦双聚类特征对比

通过引入聚类表示、局部聚类和全局信号等方法，本研究提出了一个双聚类特征对比的联邦学习框架，旨在解决非独立同分布数据的挑战，以跨客户知识共享和一致的全局指导为重点，实验结果表明，在域内和域间异质性下，该框架取得了可比或更高的性能提升。

Apr, 2024

FedAC：一种适应性聚类的异构数据联邦学习框架

在本文中，我们提出了一种自适应的聚类联邦学习框架，名为 FedAC，它通过解耦神经网络并为每个子模块使用不同的聚合方法，有效地将全局知识融合到簇内学习中，同时采用一种经济高效的在线模型相似度度量基于降维技术，以及一个用于改进复杂异构环境中自适应性和可扩展性的簇数微调模块。广泛的实验结果表明，相较于现有方法，FedAC 在不同的非独立同分布设置下，CIFAR-10 和 CIFAR-100 数据集的测试准确率分别提高了约 1.82% 和 12.67%。

Mar, 2024

个性化生成网络的异构联邦学习

通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。

Aug, 2023