用于高效通讯联邦学习的三元压缩
本研究提出了Sparse Ternary Compression (STC),一种针对Federated Learning环境的新型压缩框架。实验表明,STC在常见Federated Learning场景下,即使客户端持有非iid数据、使用小的batch size进行训练或参与率较低,也比Federated Averaging表现更佳。此外,即使客户端持有iid数据并使用中等大小的批次进行训练,STC仍在更少的训练迭代和更小的通信预算内实现了固定目标准确度,表现超越了Federated Averaging。
Mar, 2019
FedPAQ是一种通讯高效、周期平均和量化的联邦学习方法,能很好地解决联邦学习中的通讯和可扩展性问题,且在强凸和非凸损失函数方面具有接近最优的理论保证和优秀的实际表现。
Sep, 2019
本文提出了一种名为OFedIQ的流式学习框架,该框 架将在线梯度下降和模型平均相结合,通过子取样和定期传输以及量化等手段实现间断通信,优化参数,使得数据异质性等更加高效,能够在减少通信成本的同时,达到与FedOGD相似的性能,为流式学习的模型优化提供了更好的解决方案。
May, 2022
引入混合精度量化方法到异构资源联邦学习系统中以解决通信和计算瓶颈问题,并在多个模型架构和数据集上进行了广泛的基准性实验验证其优于固定精度量化的性能。
Nov, 2023
通过使用分布式自监督学习以及低位量化,Fed-QSSL 是一个旨在解决联邦学习系统中异质性的方案,并通过解量化、加权聚合和重新量化在客户端设备上创建个性化的模型,验证了该算法的有效性,并对低位训练对学习模型的收敛性和健壮性进行了理论分析。
Dec, 2023
在本研究中,我们提出了一种名为FedMPQ的新型上行通信压缩方法,它基于多共享码本乘积量化。通过利用前一轮的更新来生成足够强健的码本,我们实现了安全聚合。与以往的方法相比,我们的方法在数据不独立且分布不一致(non-IID)且缺乏足够的公共数据的情况下表现出更高的鲁棒性。对LEAF数据集进行的实验证明,我们提出的方法在减少上行通信量的同时,实现了基准模型的99%最终准确度。
Apr, 2024
在联邦学习的背景下,我们引入一种方法来保护数据和模型的隐私,只需在训练过程中分发模型参数的量化版本。该方法结合了量化策略和LoRA,显著降低了联邦学习中的通信成本,并且确保了数据和模型的隐私保护,同时提高了中央模型的泛化能力和资源利用效率。
Jun, 2024
本研究解决了联邦学习中通信成本过高的问题,提出了一种名为RC-FED的新框架,该框架在量化梯度时考虑了保真度和数据速率约束。通过将量化失真最小化,同时保持编码梯度的速率低于目标阈值,显示出该方法在多个数据集上相较于基准量化联邦学习方案的优越性能。
Sep, 2024