UVeQFed：联邦学习的通用向量量化

Jun, 2020

UVeQFed: Universal Vector Quantization for Federated Learning

Nir Shlezinger, Mingzhe Chen, Yonina C. Eldar, H. Vincent Poor, Shuguang Cui

TL;DR本研究旨在解决联合学习中模型传输的瓶颈问题，提出一种名为 UVeQFed 的通用向量量化方案，通过量化方法的优化，实现了一种去中心化的训练系统，在保证模型传输最小化失真的同时提高了聚合模型的准确性。

Abstract

Traditional deep learning models are trained at a centralized server using labeled data samples collected from end devices or users. Such data samples often include private information, which the users may not be willing to share. federated learning (FL) is an emerging approach to trai

federated learning quantization theory universal vector quantization decentralized training distortion

发现论文，激发创造

量化全局模型更新的联邦学习

本文提出一种基于压缩全局模型的损失型联邦学习算法（LFL），该算法相对于完全无损方法，使用较少的通信资源来实现相同的收敛性。

Jun, 2020

FedAQ: 基于上下行自适应量化的通信高效联邦边缘学习

通过使用量化的综合方法，联合上下行适应性量化以减少通信开销，我们优化了学习收敛性，并通过确定最优的上行和下行量化位数进行了通信能量约束。实验结果表明，所提出的联合上行和下行适应性量化策略与现有方案相比，能够节省高达 66.7% 的能量。

Jun, 2024

QuPeD: 量子化个性化通过蒸馏技术的应用于联合学习

本篇文章提出了一种名为 QuPeD 的基于知识蒸馏的量化个性化联邦学习算法，旨在协同处理具有不同资源和数据异构性的客户端，以便在全局级别训练多个压缩个性化模型。通过在优化过程中引入量化和知识蒸馏方法，实现了在不同的模型维度 / 结构和精度方案下的客户端个性化训练。数值实验证明了 QuPeD 在各种异构设置下优于现有联邦学习方法 FedAvg 和本地客户端训练。

Jul, 2021

基于优化的通用边缘计算系统量化联邦学习

本文提出了一种基于优化的量化联邦学习算法 GQFedWAvg，该算法可适用于具有统一或不统一计算和通信资源的一般边缘计算系统，并采用多种技巧，如随机量化与加权平均局部模型更新等，以最小化收敛误差，从而实现在时间和能量约束下的算法优化。

Jun, 2023

无线量化联邦学习：一种联合计算和通信设计

本文旨在通过在上传之前对本地模型参数进行量化，最小化联邦学习的总收敛时间，以保证在所有全局轮次中的最小收敛时间。我们利用随机量化对 FL 算法的收敛性进行了收敛分析，同时综合优化了计算，通讯资源和量化比特数，以保证在所有全局轮次中的最小收敛时间，同时满足能源和量化误差的要求。我们对量化误差对收敛时间的影响进行了评估，并揭示了模型准确性与及时执行之间的平衡。此外，所提出的方法被证明与基线方案相比，可以加速收敛速度，并为量化误差容忍度的选择提供有用的见解。

Mar, 2022

基于量化的分层联邦学习：收敛分析与系统设计

本文针对分层联邦学习问题，引入神经网络量化，提出了一种更加严格的收敛界限，优化客户端和边缘云多级聚合策略，同时借助仿真结果验证了策略的有效性。

Mar, 2021

Fed-QSSL: 基于位宽和数据异构性的个性化联邦学习框架

通过使用分布式自监督学习以及低位量化，Fed-QSSL 是一个旨在解决联邦学习系统中异质性的方案，并通过解量化、加权聚合和重新量化在客户端设备上创建个性化的模型，验证了该算法的有效性，并对低位训练对学习模型的收敛性和健壮性进行了理论分析。

Dec, 2023

基于无线网络的绿色量化联邦学习：一种节能设计

本研究探讨了一种基于定点神经网络的低能耗联邦学习框架，通过使用多目标优化策略和 Nash 协商解来平衡数据的精度和能耗之间的取舍，从而实现在收敛速度和能耗上的双重收益。模拟结果表明，该方法能够将能耗降低 70%，收敛速度不受影响。

Jul, 2022

QMGeo：基于混合截断几何分布的随机量化差分隐私联邦学习

本文提出了一种新颖的随机量化方法，利用混合几何分布引入所需的随机性，以提供差分隐私，而不引入任何附加噪声，并通过收敛分析和实证研究了该方法的性能。

Dec, 2023

基于联合权重量化和无线传输的异构移动设备能效联邦学习

本文旨在将联邦学习引入未来无线网络的设计中，为了在移动设备上进行能源高效的联邦学习提出了一种新颖的无线传输和权重量化的联合设计方法。通过建立混合整数规划问题，制定了灵活的权重量化计划，以最小化所有移动设备的联邦学习总能耗（计算 + 传输），同时保证模型性能和训练延迟。通过大量的模拟实验，验证了该方案的有效性。

Dec, 2020