个性化联邦学习与通信压缩

Sep, 2022

Personalized Federated Learning with Communication Compression

El Houcine Bergou, Konstantin Burlachenko, Aritra Dutta, Peter Richtárik

TL;DR本文提出通过在个体边缘设备上训练个性化模型以取代传统机器学习模型，以解决数据异质性带来的问题，并对新算法 Loopless Gradient Descent 进行了压缩优化，实验结果表明该算法比其他基于压缩的算法运行效率更高且收敛速度不低于 vanilla SGD。

Abstract

In contrast to training traditional machine learning (ML) models in data centers, federated learning (FL) trains ML models over local datasets contained on resource-constrained heterogeneous edge devices. Existin

federated learning personalized models communication compression loopless gradient descent heterogeneous edge devices

发现论文，激发创造

面向轻量通信设计的联邦学习压缩

本文研究压缩技术对典型图像分类任务的联邦学习的影响，并证明了一种简单的方法可以在保持不到 1% 准确率损失的同时压缩 50% 的消息，与最先进的技术相媲美。

Oct, 2023

通过平衡通信折衷来实现快速联邦学习

根据局部更新系数和梯度压缩稀疏预算之间的权衡方式，提出了一种新的快速联邦学习方案（Fast FL），该方案通过动态地调整这两种变量来实现最小化学习误差。结果表明，Fast FL 能够快速且一致地实现比文献中类似方案更高的精确度。

May, 2021

FedComLoc: 通信高效的稀疏与量化模型的分布式训练

我们引入 FedComLoc 算法，集成了实用和有效的压缩技术到 Scaffnew 算法中，以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

Mar, 2024

灵活的通讯压缩：面向异构移动边缘设备的能效联邦学习

本研究提出一种灵活的通信压缩控制方案，使得现代移动终端设备能够更加高效的参与大规模移动边缘设备的联合学习，进而在不影响学习性能的前提下节约能量消耗。

Dec, 2020

基于无线设备间网络的联邦学习算法与收敛分析

该研究探讨了基于设备对设备（D2D）网络的联邦学习，在分布式随机梯度下降算法实现中，利用随机线性编码和空中计算的数字和模拟传输方案进行通信效率的改进，并且在假设凸性和连通性的情况下提供了收敛性结果。

Jan, 2021

高效模型压缩的分层联邦学习

本文介绍了一个集成了聚类式联邦学习和模型压缩优势的新型层次式联邦学习框架，包括自适应聚类算法和局部聚合压缩算法。仿真结果证实，我们提出的算法不仅保持了可比较的预测准确性，还显著降低了相对于现有联邦学习机制的能源消耗。

May, 2024

无线网络上高效计算与通信的联邦学习

通过将学习模型分为全局部分和个性化部分，以实现模型剪枝和个性化，本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架，并通过数学分析研究了其收敛性、计算和通信延迟，并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明，相比只进行模型个性化的方案，该框架能够显著减少约 50％的计算和通信延迟。

Sep, 2023

量化全局模型更新的联邦学习

本文提出一种基于压缩全局模型的损失型联邦学习算法（LFL），该算法相对于完全无损方法，使用较少的通信资源来实现相同的收敛性。

Jun, 2020

基于无线 D2D 网络的分散联邦学习

本文提出了一种在无线边缘设备间通过分布式学习模型的联合训练方式，使用 Decentralized Stochastic Gradient Descent 协议实现设备间协同训练，通过适应路径损耗、衰落、阻挡和干扰等因素的技术，在物理层上利用稀疏基础恢复实现了无线波传输和计算的处理。

Feb, 2020

CG-FedLLM：用于大规模语言模型的联邦微调中梯度压缩方法

本研究提出了一种创新方法来压缩梯度以提高大型语言模型联邦学习中的通信效率，通过在客户端增加编码器以获取压缩的梯度特征，以及在服务器端增加解码器来重构梯度。通过使用特征筛选和保护关键特征的方式，我们的方法降低了通信成本并提高了性能，在隐私保护框架内进行了一系列实验分析，为开发更高效和安全的大型语言模型提供了洞见。

May, 2024