使用对比学习方法的预训练模型联邦学习

Sep, 2022

使用对比学习方法的预训练模型联邦学习

Federated Learning from Pre-Trained Models: A Contrastive Learning Approach

Yue Tan, Guodong Long, Jie Ma, Lu Liu, Tianyi Zhou...

TL;DR本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

Abstract

federated learning (FL) is a machine learning paradigm that allows decentralized clients to learn collaboratively without sharing their private data. However, excessive computation and communication demands pose challenges to current FL frameworks, especially when training large-scale

federated learning client-specific information pre-trained models contrastive learning efficient communication

发现论文，激发创造

基于对比编码器预训练的聚类联邦学习用于异种数据

使用自监督对比学习和客户端聚类的方法，提出了基于对比预训练的聚类联合学习方法，以改善联邦学习系统的模型收敛性和性能。

Nov, 2023

原型有助于联邦学习：朝着更快的收敛方向

该论文提出了一种基于原型的联邦学习框架，通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能，从而在两个基准数据集上实现了更高的准确性和相对高效的通信。

Mar, 2023

联邦学习的进展：模型、方法和隐私

本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题，提出了一种更加通用的算法设计框架、攻击场景和防御方法，致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。

Feb, 2023

利用预先训练的模型指导联邦学习中的最后一层

通过使用预训练模型作为初始化点，利用最近类平均法编写分类器和使用两阶段方法进行微调，提高了联邦学习的效率和性能。

Jun, 2023

客户监督的联邦学习：朝着通用个性化模型

通过提出一种新的联邦学习框架，使得个性化联邦学习可以学习一个强健的全局模型，以在联邦学习系统中对未知的 / 测试客户端达到与个性化模型相当的性能。

Mar, 2024

面向异构客户的个性化联邦学习与聚类知识迁移

本研究提出了一种适用于高度数据和系统异构的个性化联邦学习框架 PerFed-CKT，可使用不同的模型架构，通过簇内共同训练和知识传输来降低通信成本并在测试中获得高精度。

Sep, 2021

基于代表共享的可扩展协作学习

通过在线知识蒸馏使用对比损失的新方法，保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征，并将平均最后隐藏层激活的特征表示发布到中央服务器，然后客户端使用对比目标在其个人模型中蒸馏其知识，从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用，本框架在多个数据集上使用不同的模型架构进行了性能基准测试。

Nov, 2022

关于分散式联邦学习的调查

去中心化联邦学习解决方案的综述，包括现有的方法和未来的研究方向。

Aug, 2023

联邦与集中式学习的混合架构

本文提出了一种更高效的混合联邦与集中学习（HFCL）方法来解决客户端计算资源不足的情况，该方法可以将数据集分别发送给有足够计算资源的客户端和参数服务器，从而在减少通信开销和提高学习准确率方面都具有更好的性能表现。

May, 2021

用层次生成原型来减少联邦式增量学习中的偏见

该研究提出了一种通过使用可学习的提示来约束增量和联邦偏差的方法，从而提高全局模型的预测准确性，并在平均准确率上提供了 7.9% 的增加。

Jun, 2024