AQUILA：通信高效的自适应量化惰性聚合梯度的联邦学习

Aug, 2023

AQUILA：通信高效的自适应量化惰性聚合梯度的联邦学习

AQUILA: Communication Efficient Federated Learning with Adaptive Quantization of Lazily-Aggregated Gradients

Zihao Zhao, Yuzhu Mao, Zhenpeng Shi, Yang Liu, Tian Lan...

TL;DRAQUILA 是一种新的自适应框架，有效应对了联邦学习中的高通信开销、设备选择以及模型性能等问题。通过优化的设备选择方法和创新的量化准则，AQUILA 在各种非均匀的联邦学习设置下减少了通信成本，同时保持了可比较的模型性能。

Abstract

The widespread adoption of federated learning (FL), a privacy-preserving distributed learning methodology, has been impeded by the challenge of high communication overheads, typically arising from the transmissio

federated learning adaptive quantization communication overheads device selection model performance

发现论文，激发创造

面向通信效率的联邦学习中模型更新的自适应量化

本文研究提出了 AdaQuant FL，一种自适应量化策略，旨在通过在训练过程中改变量化级别的数量来实现通信效率以及低误差率。实验表明，与固定量化级别设置相比，该方法可以在更少的通信比特数中收敛，几乎不会对训练和测试的准确性产生影响。

Feb, 2021

DAdaQuant：用于通信高效联邦学习的双重自适应量化

本研究介绍了一种动态自适应的量化算法 DAdaQuant，可以在保证模型质量的前提下提高 client 到 server 的压缩比例，比强非自适应基线算法提高多达 2.8 倍。

Oct, 2021

通过惰性聚合量化梯度进行高效的分布式学习通信

本文提出了一种新的集成梯度方法来进行分布式机器学习，其通过量化计算的梯度避免信息不足的梯度通信并高效减少通信开销。实验证明，与现有的基于梯度或随机梯度的算法相比，该算法可以显著减少通信量和通信轮数。

Sep, 2019

FedAQ: 基于上下行自适应量化的通信高效联邦边缘学习

通过使用量化的综合方法，联合上下行适应性量化以减少通信开销，我们优化了学习收敛性，并通过确定最优的上行和下行量化位数进行了通信能量约束。实验结果表明，所提出的联合上行和下行适应性量化策略与现有方案相比，能够节省高达 66.7% 的能量。

Jun, 2024

量化全局模型更新的联邦学习

本文提出一种基于压缩全局模型的损失型联邦学习算法（LFL），该算法相对于完全无损方法，使用较少的通信资源来实现相同的收敛性。

Jun, 2020

FedPAQ: 周期均值和量化的通信效率联邦学习方法

FedPAQ 是一种通讯高效、周期平均和量化的联邦学习方法，能很好地解决联邦学习中的通讯和可扩展性问题，且在强凸和非凸损失函数方面具有接近最优的理论保证和优秀的实际表现。

Sep, 2019

稀疏化和量化的高效异步联邦学习

基于时间效率的异步稀疏量化联邦学习（TEASQ-Fed）能够利用边缘设备异步参与训练过程，并通过控制参数选择适当数量的并行边缘设备，进一步通过缓存机制和基于模型陈旧程度的加权平均来提高准确性，同时利用稀疏化和量化的方法压缩中间数据以加速训练，实验结果显示 TEASQ-Fed 提高了准确性（高达 16.67%）且加快了模型训练（最多两倍速）。

Dec, 2023

无线量化联邦学习：一种联合计算和通信设计

本文旨在通过在上传之前对本地模型参数进行量化，最小化联邦学习的总收敛时间，以保证在所有全局轮次中的最小收敛时间。我们利用随机量化对 FL 算法的收敛性进行了收敛分析，同时综合优化了计算，通讯资源和量化比特数，以保证在所有全局轮次中的最小收敛时间，同时满足能源和量化误差的要求。我们对量化误差对收敛时间的影响进行了评估，并揭示了模型准确性与及时执行之间的平衡。此外，所提出的方法被证明与基线方案相比，可以加速收敛速度，并为量化误差容忍度的选择提供有用的见解。

Mar, 2022

基于量化的分层联邦学习：收敛分析与系统设计

本文针对分层联邦学习问题，引入神经网络量化，提出了一种更加严格的收敛界限，优化客户端和边缘云多级聚合策略，同时借助仿真结果验证了策略的有效性。

Mar, 2021

在联邦学习中协调安全性和通信效率

本文解决了跨设备联邦学习中通信效率问题并提出了一种基于安全聚合的压缩方法，使得在保证通信安全的前提下能够实现高效联邦学习。

Jul, 2022