本研究提出了 Sparse Ternary Compression (STC)，一种针对 Federated Learning 环境的新型压缩框架。实验表明，STC 在常见 Federated Learning 场景下，即使客户端持有非 iid 数据、使用小的 batch size 进行训练或参与率较低，也比 Federated Averaging 表现更佳。此外，即使客户端持有 iid 数据并使用中等大小的批次进行训练，STC 仍在更少的训练迭代和更小的通信预算内实现了固定目标准确度，表现超越了 Federated Averaging。

Mar, 2019

FedPAQ 是一种通讯高效、周期平均和量化的联邦学习方法，能很好地解决联邦学习中的通讯和可扩展性问题，且在强凸和非凸损失函数方面具有接近最优的理论保证和优秀的实际表现。

Sep, 2019

本文解决了跨设备联邦学习中通信效率问题并提出了一种基于安全聚合的压缩方法，使得在保证通信安全的前提下能够实现高效联邦学习。

Jul, 2022

在本研究中，我们提出了一种名为 FedMPQ 的新型上行通信压缩方法，它基于多共享码本乘积量化。通过利用前一轮的更新来生成足够强健的码本，我们实现了安全聚合。与以往的方法相比，我们的方法在数据不独立且分布不一致（non-IID）且缺乏足够的公共数据的情况下表现出更高的鲁棒性。对 LEAF 数据集进行的实验证明，我们提出的方法在减少上行通信量的同时，实现了基准模型的 99% 最终准确度。

Apr, 2024

通过使用量化的综合方法，联合上下行适应性量化以减少通信开销，我们优化了学习收敛性，并通过确定最优的上行和下行量化位数进行了通信能量约束。实验结果表明，所提出的联合上行和下行适应性量化策略与现有方案相比，能够节省高达 66.7% 的能量。

Jun, 2024

本文旨在通过在上传之前对本地模型参数进行量化，最小化联邦学习的总收敛时间，以保证在所有全局轮次中的最小收敛时间。我们利用随机量化对 FL 算法的收敛性进行了收敛分析，同时综合优化了计算，通讯资源和量化比特数，以保证在所有全局轮次中的最小收敛时间，同时满足能源和量化误差的要求。我们对量化误差对收敛时间的影响进行了评估，并揭示了模型准确性与及时执行之间的平衡。此外，所提出的方法被证明与基线方案相比，可以加速收敛速度，并为量化误差容忍度的选择提供有用的见解。

Mar, 2022

基于时间效率的异步稀疏量化联邦学习（TEASQ-Fed）能够利用边缘设备异步参与训练过程，并通过控制参数选择适当数量的并行边缘设备，进一步通过缓存机制和基于模型陈旧程度的加权平均来提高准确性，同时利用稀疏化和量化的方法压缩中间数据以加速训练，实验结果显示 TEASQ-Fed 提高了准确性（高达 16.67%）且加快了模型训练（最多两倍速）。

Dec, 2023

这篇研究论文讨论了在保护用户数据隐私的同时，使用联邦学习和安全聚合对移动设备进行机器学习的方法。其中利用随机旋转和安全聚合技术，使得用户的模型更新能够更有效地量化和保护，从而提高联邦学习的效率和安全。

Nov, 2019

该论文介绍一种在联邦学习环境中使用剪辑均匀量化的方法，旨在通过减少通信开销而不降低准确性来提高模型效率。通过采用最优剪辑阈值和自适应量化方案，我们的方法显著减少了客户端和服务器之间模型权重传输的比特需求。通过在 MNIST 数据集上进行广泛的模拟实验，我们的结果表明，所提出的方法实现了近乎全精度的性能，同时确保了实质性的通信节省。具体来说，我们的方法通过基于量化误差的权重平均化实现了高效的权重平均化，有效平衡了通信效率和模型准确性的权衡。与传统的量化方法的比较分析进一步证实了我们的技术的优越性。

May, 2024

本文研究压缩技术对典型图像分类任务的联邦学习的影响，并证明了一种简单的方法可以在保持不到 1% 准确率损失的同时压缩 50% 的消息，与最先进的技术相媲美。

Oct, 2023