QuPeD: 量子化个性化通过蒸馏技术的应用于联合学习

Jul, 2021

QuPeD: 量子化个性化通过蒸馏技术的应用于联合学习

QuPeD: Quantized Personalization via Distillation with Applications to Federated Learning

Kaan Ozkara, Navjot Singh, Deepesh Data, Suhas Diggavi

TL;DR本篇文章提出了一种名为 QuPeD 的基于知识蒸馏的量化个性化联邦学习算法，旨在协同处理具有不同资源和数据异构性的客户端，以便在全局级别训练多个压缩个性化模型。通过在优化过程中引入量化和知识蒸馏方法，实现了在不同的模型维度/结构和精度方案下的客户端个性化训练。数值实验证明了 QuPeD 在各种异构设置下优于现有联邦学习方法 FedAvg 和本地客户端训练。

Abstract

Traditionally, federated learning (FL) aims to train a single global model while collaboratively using multiple clients and a server. Two natural challenges that FL algorithms face are heterogeneity in data across clients and collaboration of clients with {\em diverse resources}. In th

发现论文，激发创造

用于高效通讯联邦学习的三元压缩

研究提出了一种基于联邦学习的量化算法FTTQ和三值联邦平均协议T-FedAvg，能够显著降低联邦学习系统的通信成本，并在IID数据上实现微小的性能提升。

Mar, 2020

UVeQFed：联邦学习的通用向量量化

本研究旨在解决联合学习中模型传输的瓶颈问题，提出一种名为UVeQFed的通用向量量化方案，通过量化方法的优化，实现了一种去中心化的训练系统，在保证模型传输最小化失真的同时提高了聚合模型的准确性。

Jun, 2020

量化全局模型更新的联邦学习

本文提出一种基于压缩全局模型的损失型联邦学习算法（LFL），该算法相对于完全无损方法，使用较少的通信资源来实现相同的收敛性。

Jun, 2020

DAdaQuant：用于通信高效联邦学习的双重自适应量化

本研究介绍了一种动态自适应的量化算法DAdaQuant，可以在保证模型质量的前提下提高client到server的压缩比例，比强非自适应基线算法提高多达2.8倍。

Oct, 2021

使用速率失真理论在联邦学习中优化通信-准确性权衡

研究了联邦学习中模型更新的统计学特性及各种压缩技术的作用和优劣，提出了基于失真作为可靠的模型精度代理的降低通信成本的新方法，并在Stack Overflow下一个真实具有挑战性的FL基准测试中实现了接近最优的通信成本降低，在多个数据集、优化器、客户端和训练轮次中，失真-失真前沿保持一致。

Jan, 2022

个性化联邦学习与通信压缩

本文提出通过在个体边缘设备上训练个性化模型以取代传统机器学习模型，以解决数据异质性带来的问题，并对新算法 Loopless Gradient Descent 进行了压缩优化，实验结果表明该算法比其他基于压缩的算法运行效率更高且收敛速度不低于 vanilla SGD。

Sep, 2022

资源受限异构设备上的联邦学习的混合精度量化

引入混合精度量化方法到异构资源联邦学习系统中以解决通信和计算瓶颈问题，并在多个模型架构和数据集上进行了广泛的基准性实验验证其优于固定精度量化的性能。

Nov, 2023

Fed-QSSL: 基于位宽和数据异构性的个性化联邦学习框架

通过使用分布式自监督学习以及低位量化，Fed-QSSL 是一个旨在解决联邦学习系统中异质性的方案，并通过解量化、加权聚合和重新量化在客户端设备上创建个性化的模型，验证了该算法的有效性，并对低位训练对学习模型的收敛性和健壮性进行了理论分析。

Dec, 2023

个性化联邦学习的频谱辅助蒸馏

基于模型频谱信息的新型谱蒸馏方法以及建立了通用与个性化模型训练之间的双向桥梁的共蒸馏框架，并提出了一种无等待本地训练协议，通过实验证明了这些方法的优越性和有效性。

Jan, 2024

约束速率的量化用于通信高效的联邦学习

本研究解决了联邦学习中通信成本过高的问题，提出了一种名为RC-FED的新框架，该框架在量化梯度时考虑了保真度和数据速率约束。通过将量化失真最小化，同时保持编码梯度的速率低于目标阈值，显示出该方法在多个数据集上相较于基准量化联邦学习方案的优越性能。

Sep, 2024