资源受限异构设备上的联邦学习的混合精度量化
研究提出了一种基于联邦学习的量化算法FTTQ和三值联邦平均协议T-FedAvg，能够显著降低联邦学习系统的通信成本，并在IID数据上实现微小的性能提升。
Mar, 2020
本研究旨在解决联合学习中模型传输的瓶颈问题，提出一种名为UVeQFed的通用向量量化方案，通过量化方法的优化，实现了一种去中心化的训练系统，在保证模型传输最小化失真的同时提高了聚合模型的准确性。
Jun, 2020
本文重点研究了有关物理层量化和传输方法在无线联邦学习中的设计和分析，并通过实验评估了FL定制上行和下行通信设计的巨大优势，其中包括1位量化（浮点基线带宽的3.1％）在MNIST上实现了99.8％的浮点基线准确度，代表着作者所知的最佳带宽-准确度平衡。
Dec, 2020
本文研究提出了AdaQuant FL，一种自适应量化策略，旨在通过在训练过程中改变量化级别的数量来实现通信效率以及低误差率。 实验表明，与固定量化级别设置相比，该方法可以在更少的通信比特数中收敛，几乎不会对训练和测试的准确性产生影响。
Feb, 2021
本文提出了一个基于固定精度的QNN的量化FL框架，从而在保证收敛的前提下，优化了精度与能耗之间的平衡，实现了在无线网络上的FL，且相比标准FL算法，能耗降低了最多53%
Nov, 2021
本文旨在通过在上传之前对本地模型参数进行量化，最小化联邦学习的总收敛时间，以保证在所有全局轮次中的最小收敛时间。我们利用随机量化对FL算法的收敛性进行了收敛分析，同时综合优化了计算，通讯资源和量化比特数，以保证在所有全局轮次中的最小收敛时间，同时满足能源和量化误差的要求。我们对量化误差对收敛时间的影响进行了评估，并揭示了模型准确性与及时执行之间的平衡。此外，所提出的方法被证明与基线方案相比，可以加速收敛速度，并为量化误差容忍度的选择提供有用的见解。
Mar, 2022
研究提出了混合精度量化FL方案作为反制措施，该方案可解决加密密钥的生成过程由于客户端数量增加而变得繁琐的难题，同时通过量化不同精度不同模式中深度模型的不同层，使该方案具有更多的鲁棒性，实证分析证明，应用量化后全局模型的准确性仅有轻微下降。
Oct, 2022
通过使用分布式自监督学习以及低位量化，Fed-QSSL 是一个旨在解决联邦学习系统中异质性的方案，并通过解量化、加权聚合和重新量化在客户端设备上创建个性化的模型，验证了该算法的有效性，并对低位训练对学习模型的收敛性和健壮性进行了理论分析。
Dec, 2023
该论文介绍一种在联邦学习环境中使用剪辑均匀量化的方法，旨在通过减少通信开销而不降低准确性来提高模型效率。通过采用最优剪辑阈值和自适应量化方案，我们的方法显著减少了客户端和服务器之间模型权重传输的比特需求。通过在MNIST数据集上进行广泛的模拟实验，我们的结果表明，所提出的方法实现了近乎全精度的性能，同时确保了实质性的通信节省。具体来说，我们的方法通过基于量化误差的权重平均化实现了高效的权重平均化，有效平衡了通信效率和模型准确性的权衡。与传统的量化方法的比较分析进一步证实了我们的技术的优越性。
May, 2024