具双向量化通信与缓存聚合的异步联邦学习
本文通过移除梯度范数有界的假设,对异步联邦学习算法 FedBuff 进行了理论分析,研究了数据异构性、批次大小和延迟等因素对算法收敛速度的影响,从而提高跨设备联邦学习的可扩展性。
Oct, 2022
本文提出了一种新的缓存异步聚合方法 FedBuff,它结合了同步和异步 federated learning 的最佳属性,可在不影响系统隐私的情况下提高效率,大大缓解了跨设备联合学习中的可扩展性和隐私问题。
Jun, 2021
FedPAQ 是一种通讯高效、周期平均和量化的联邦学习方法,能很好地解决联邦学习中的通讯和可扩展性问题,且在强凸和非凸损失函数方面具有接近最优的理论保证和优秀的实际表现。
Sep, 2019
基于时间效率的异步稀疏量化联邦学习(TEASQ-Fed)能够利用边缘设备异步参与训练过程,并通过控制参数选择适当数量的并行边缘设备,进一步通过缓存机制和基于模型陈旧程度的加权平均来提高准确性,同时利用稀疏化和量化的方法压缩中间数据以加速训练,实验结果显示 TEASQ-Fed 提高了准确性(高达 16.67%)且加快了模型训练(最多两倍速)。
Dec, 2023
通过使用量化的综合方法,联合上下行适应性量化以减少通信开销,我们优化了学习收敛性,并通过确定最优的上行和下行量化位数进行了通信能量约束。实验结果表明,所提出的联合上行和下行适应性量化策略与现有方案相比,能够节省高达 66.7% 的能量。
Jun, 2024
AQUILA 是一种新的自适应框架,有效应对了联邦学习中的高通信开销、设备选择以及模型性能等问题。通过优化的设备选择方法和创新的量化准则,AQUILA 在各种非均匀的联邦学习设置下减少了通信成本,同时保持了可比较的模型性能。
Aug, 2023
本文旨在通过在上传之前对本地模型参数进行量化,最小化联邦学习的总收敛时间,以保证在所有全局轮次中的最小收敛时间。我们利用随机量化对 FL 算法的收敛性进行了收敛分析,同时综合优化了计算,通讯资源和量化比特数,以保证在所有全局轮次中的最小收敛时间,同时满足能源和量化误差的要求。我们对量化误差对收敛时间的影响进行了评估,并揭示了模型准确性与及时执行之间的平衡。此外,所提出的方法被证明与基线方案相比,可以加速收敛速度,并为量化误差容忍度的选择提供有用的见解。
Mar, 2022
本文重点研究了有关物理层量化和传输方法在无线联邦学习中的设计和分析,并通过实验评估了 FL 定制上行和下行通信设计的巨大优势,其中包括 1 位量化(浮点基线带宽的 3.1%)在 MNIST 上实现了 99.8%的浮点基线准确度,代表着作者所知的最佳带宽 - 准确度平衡。
Dec, 2020
本文研究提出了 AdaQuant FL,一种自适应量化策略,旨在通过在训练过程中改变量化级别的数量来实现通信效率以及低误差率。 实验表明,与固定量化级别设置相比,该方法可以在更少的通信比特数中收敛,几乎不会对训练和测试的准确性产生影响。
Feb, 2021