QuPeD: 量子化个性化通过蒸馏技术的应用于联合学习

Jul, 2021

QuPeD: 量子化个性化通过蒸馏技术的应用于联合学习

QuPeD: Quantized Personalization via Distillation with Applications to Federated Learning

Kaan Ozkara, Navjot Singh, Deepesh Data, Suhas Diggavi

TL;DR本篇文章提出了一种名为 QuPeD 的基于知识蒸馏的量化个性化联邦学习算法，旨在协同处理具有不同资源和数据异构性的客户端，以便在全局级别训练多个压缩个性化模型。通过在优化过程中引入量化和知识蒸馏方法，实现了在不同的模型维度 / 结构和精度方案下的客户端个性化训练。数值实验证明了 QuPeD 在各种异构设置下优于现有联邦学习方法 FedAvg 和本地客户端训练。

Abstract

Traditionally, federated learning (FL) aims to train a single global model while collaboratively using multiple clients and a server. Two natural challenges that FL algorithms face are heterogeneity in data across clients and collaboration of clients with {\em diverse resources}. In th

federated learning quantized models personalized models heterogeneous data knowledge distillation

发现论文，激发创造

UVeQFed：联邦学习的通用向量量化

本研究旨在解决联合学习中模型传输的瓶颈问题，提出一种名为 UVeQFed 的通用向量量化方案，通过量化方法的优化，实现了一种去中心化的训练系统，在保证模型传输最小化失真的同时提高了聚合模型的准确性。

Jun, 2020

Fed-QSSL: 基于位宽和数据异构性的个性化联邦学习框架

通过使用分布式自监督学习以及低位量化，Fed-QSSL 是一个旨在解决联邦学习系统中异质性的方案，并通过解量化、加权聚合和重新量化在客户端设备上创建个性化的模型，验证了该算法的有效性，并对低位训练对学习模型的收敛性和健壮性进行了理论分析。

Dec, 2023

DAdaQuant：用于通信高效联邦学习的双重自适应量化

本研究介绍了一种动态自适应的量化算法 DAdaQuant，可以在保证模型质量的前提下提高 client 到 server 的压缩比例，比强非自适应基线算法提高多达 2.8 倍。

Oct, 2021

通过去中心化的部分模型训练实现更适合个性化的联邦学习

本文提出了一种名为 DFedAlt 的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部 SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

May, 2023

随机量化，差分隐私在联邦学习中十分必要

本研究提出了一种通过量化和差分隐私相结合的联合学习算法 —— Randomized Quantization Mechanism（RQM）, 该算法通过两层随机化达到了 Renyi 差分隐私保护，同时在 DP 联合学习的隐私 - 准确性平衡方面取得了较好的表现，是首次仅通过随机量化而不使用显式离散噪声实现 Renyi DP 保证的研究。

Jun, 2023

全球准确个性化模型的最佳结合：基于数据自由的超知识蒸馏联邦学习

本文介绍 FedHKD 算法，通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现，该算法不依赖公共数据集或在服务器上部署生成模型。实验证明，FedHKD 算法提高了全局模型和个性化模型表现，超越了现有的一些异构数据联邦学习方法。

Jan, 2023

QMGeo：基于混合截断几何分布的随机量化差分隐私联邦学习

本文提出了一种新颖的随机量化方法，利用混合几何分布引入所需的随机性，以提供差分隐私，而不引入任何附加噪声，并通过收敛分析和实证研究了该方法的性能。

Dec, 2023

面向个性化联邦学习的参数化知识传递

提出了一个基于个性化模型的联邦学习框架来应对异构模型的限制，并使用参数化群体知识转移训练算法来使客户端间自适应强化协作，从而实现个性化模型训练，并与现有方法进行比较得到显著的性能提升。

Nov, 2021

资源受限异构设备上的联邦学习的混合精度量化

引入混合精度量化方法到异构资源联邦学习系统中以解决通信和计算瓶颈问题，并在多个模型架构和数据集上进行了广泛的基准性实验验证其优于固定精度量化的性能。

Nov, 2023

面向异构客户的个性化联邦学习与聚类知识迁移

本研究提出了一种适用于高度数据和系统异构的个性化联邦学习框架 PerFed-CKT，可使用不同的模型架构，通过簇内共同训练和知识传输来降低通信成本并在测试中获得高精度。

Sep, 2021