基于复制树的有限数据联邦学习

Dec, 2023

Replica Tree-based Federated Learning using Limited Data

Ramona Ghilea, Islem Rekik

TL;DR在本研究中，我们提出了一种名为 RepTreeFL 的新型联邦学习框架，通过复制参与客户端的模型架构并扰动其本地数据分布的方式，在有限的数据和少数客户端的情况下，通过聚合多个具有不同数据分布的模型来实现学习。我们利用客户端网络的分层结构以及副本之间的模型差异性，引入了一种基于多样性的树聚合方法，在树状结构中组合副本，并根据模型差异性动态更新聚合权重。实验结果表明，在数据和客户端都有限的情况下，RepTreeFL 在图生成和图像分类（二分类和多分类）的两个任务和两种类型的数据中表现出良好的效果和优势。

Abstract

Learning from limited data has been extensively studied in machine learning, considering that deep neural networks achieve optimal performance when trained using a large amount of samples. Although various strategies have been proposed for centralized training, the topic of

limited data federated learning reptreefl replica model aggregation

发现论文，激发创造

联邦式少样本学习

本文介绍了一种新颖的问题：在联合学习场景下，如何面对数据有限的客户端。为了解决数据分布和本地数据不足等问题，提出了联合少样本学习框架，并进行了大量实验，证明了该框架的有效性。

Jun, 2023

FedER：通过经验回放和隐私保护数据合成的联邦学习

本文提出一种基于体验回放和生成对抗网络思想的联合和分散学习策略，名为 FedER，它可以在保持隐私的同时整合本地节点的特征，提供能够横跨多个数据集的模型，以实现对结核和黑色素瘤分类的准确诊断

Jun, 2022

使用对比学习方法的预训练模型联邦学习

本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

Sep, 2022

基于剪枝和恢复的联邦学习

在异构环境中，提出了一种新颖的联邦学习训练框架，考虑了真实环境中客户端的各种网络速度差异。该框架集成了异步学习算法和修剪技术，有效解决了传统联邦学习算法在涉及异构设备的场景中的低效问题，同时解决了异步算法中某些客户端训练不充分和过时问题。通过在训练过程中逐步恢复模型大小，该框架加快了模型训练速度，同时保留了模型准确性。此外，还引入了改进的联邦学习聚合过程，包括缓冲机制，使异步联邦学习能够像同步学习一样进行操作。另外，在服务器向客户端传输全局模型的过程中进行了优化，减少了通信开销。我们在各种数据集上的实验表明：相对于传统的异步联邦学习和异构联邦学习，我们的方法在减少训练时间和提高收敛准确性方面取得了显著的改进；我们的方法在存在异构客户端和非独立同分布客户端数据的场景中优势更加明显。

Mar, 2024

原型有助于联邦学习：朝着更快的收敛方向

该论文提出了一种基于原型的联邦学习框架，通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能，从而在两个基准数据集上实现了更高的准确性和相对高效的通信。

Mar, 2023

原型正则化提升联邦学习收敛性

在分布式机器学习技术中，联邦学习（FL）要求客户端在边缘服务器上协同训练共享模型，而不泄露其本地数据。本文引入了一种基于原型的正则化策略来解决数据分布的异质性，并通过实验结果表明，在 MNIST 和 Fashion-MNIST 上与最流行的基准 FedAvg 相比，我们的方法分别取得了 3.3% 和 8.9% 的平均测试准确率提升，而且在异质设置下具有快速收敛速度。

Jul, 2023

联邦与集中式学习的混合架构

本文提出了一种更高效的混合联邦与集中学习（HFCL）方法来解决客户端计算资源不足的情况，该方法可以将数据集分别发送给有足够计算资源的客户端和参数服务器，从而在减少通信开销和提高学习准确率方面都具有更好的性能表现。

May, 2021

关于分散式联邦学习的调查

去中心化联邦学习解决方案的综述，包括现有的方法和未来的研究方向。

Aug, 2023

混合数据的有效高效联邦树学习

提出了一种名为 HybridTree 的新颖联邦学习方法，能够在混合数据上进行联邦树学习，并通过观察树中的一致分割规则理论上证明了可以将各方的知识融入树的较低层，实验证明 HybridTree 在计算和通信开销较低的情况下能够达到与集中式场景相当的准确度，并且相比其他基准方法可实现高达 8 倍的加速。

Oct, 2023

基于代表共享的可扩展协作学习

通过在线知识蒸馏使用对比损失的新方法，保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征，并将平均最后隐藏层激活的特征表示发布到中央服务器，然后客户端使用对比目标在其个人模型中蒸馏其知识，从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用，本框架在多个数据集上使用不同的模型架构进行了性能基准测试。

Nov, 2022