高效模型压缩的分层联邦学习

May, 2024

Efficient Model Compression for Hierarchical Federated Learning

Xi Zhu, Songcan Yu, Junbo Wang, Qinglin Yang

TL;DR本文介绍了一个集成了聚类式联邦学习和模型压缩优势的新型层次式联邦学习框架，包括自适应聚类算法和局部聚合压缩算法。仿真结果证实，我们提出的算法不仅保持了可比较的预测准确性，还显著降低了相对于现有联邦学习机制的能源消耗。

Abstract

federated learning (FL), as an emerging collaborative learning paradigm, has garnered significant attention due to its capacity to preserve privacy within distributed learning systems. In these systems, clients collaboratively train a unified neural network model using their local data

federated learning privacy preservation hierarchical fl framework adaptive clustering algorithm local aggregation with compression

发现论文，激发创造

H-FL：面向联邦学习的分层通信高效和隐私保护体系结构

本文提出了一种名为分层联邦学习（H-FL）的新框架，通过运行时分布重构策略，利用中介将客户端重新分配并重新安排客户端的本地训练，设计了一种压缩校正机制，同时不牺牲模型性能，降低通信开销，引入局部训练的差分隐私，注入适量的噪声到完整模型的一部分中，从而提供隐私保障，在真实的图像识别任务的不同数据集上实验结果表明，我们的 H-FL 框架实现了最先进的性能。

Jun, 2021

面向轻量通信设计的联邦学习压缩

本文研究压缩技术对典型图像分类任务的联邦学习的影响，并证明了一种简单的方法可以在保持不到 1% 准确率损失的同时压缩 50% 的消息，与最先进的技术相媲美。

Oct, 2023

通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

Jan, 2024

无线网络上高效计算与通信的联邦学习

通过将学习模型分为全局部分和个性化部分，以实现模型剪枝和个性化，本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架，并通过数学分析研究了其收敛性、计算和通信延迟，并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明，相比只进行模型个性化的方案，该框架能够显著减少约 50％的计算和通信延迟。

Sep, 2023

HeteroFL：用于异构客户端的计算与通信高效联邦学习

本文提出名为 HeteroFL 的新型联邦学习框架，旨在解决具有非常不同计算和通信能力的异构客户端的问题，并通过几种策略增强 FL 训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估，通过自适应分配子网络来提高 FL 训练的计算和通信效率。

Oct, 2020

联邦与集中式学习的混合架构

本文提出了一种更高效的混合联邦与集中学习（HFCL）方法来解决客户端计算资源不足的情况，该方法可以将数据集分别发送给有足够计算资源的客户端和参数服务器，从而在减少通信开销和提高学习准确率方面都具有更好的性能表现。

May, 2021

FedComLoc: 通信高效的稀疏与量化模型的分布式训练

我们引入 FedComLoc 算法，集成了实用和有效的压缩技术到 Scaffnew 算法中，以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

Mar, 2024

实时找到最佳任务分配：面向分簇联邦学习的整体框架

通过综合研究当前对聚类型联邦学习方法，本文提出了一个四层框架（HCFL），并针对每一层中当前聚类方法面临的挑战提出了一个增强聚类方法 HCFL+，通过广泛的数值评估展示了我们的聚类框架和改进组件的有效性。

Oct, 2023

分层无线网络中的自适应联邦剪枝

本文在无线网络中为分层式联邦学习引入了模型剪枝技术，通过联合优化剪枝比例和无线资源分配，旨在最大化模型收敛速度以达到给定延迟阈值，并通过解耦优化问题和使用 KKT 条件得出了剪枝比例和无线资源分配的闭式解，并通过模拟结果展示了模型剪枝在 HFL 中实现了减少了约 50％的通信成本而实现了相似的学习准确率。

May, 2023

通过发送聚类模型更新来减少联邦学习中的通信流量

通过模型压缩和软聚类提出了一种可以同时用于上行和下行压缩的 Federated Learning 压缩算法，可以显著减少通信流量并在实际网络中提高学习效率。

May, 2021