本文提出了一个基于固定精度的 QNN 的量化 FL 框架，从而在保证收敛的前提下，优化了精度与能耗之间的平衡，实现了在无线网络上的 FL，且相比标准 FL 算法，能耗降低了最多 53%

Nov, 2021

研究提出了混合精度量化 FL 方案作为反制措施，该方案可解决加密密钥的生成过程由于客户端数量增加而变得繁琐的难题，同时通过量化不同精度不同模式中深度模型的不同层，使该方案具有更多的鲁棒性，实证分析证明，应用量化后全局模型的准确性仅有轻微下降。

Oct, 2022

本文提出了一种新颖的随机量化方法，利用混合几何分布引入所需的随机性，以提供差分隐私，而不引入任何附加噪声，并通过收敛分析和实证研究了该方法的性能。

Dec, 2023

通过一种一次性训练 - 搜索范式，本文研究了混合精度模型压缩的问题，并提出了一种动态冻结和信息失真缓解技术来优化位宽配置和性能下降。

Jan, 2024

本研究提出了一种名为 DQMQ 的新型混合精度量化框架，可动态地适应不同数据质量，通过学习一个决策规则，它被建模为一种混合强化学习任务，该任务结合了基于模型的策略优化和监督量化训练。通过在混合质量的图像数据集上进行训练，DQMQ 可以在面对不均匀输入质量时隐式地选择每个层的最适宜比特宽度，在各种基准数据集和网络上的大量实验表明，DQMQ 比现有的固定 / 混合精度量化方法更为优越。

Feb, 2023

本研究探讨了一种基于定点神经网络的低能耗联邦学习框架，通过使用多目标优化策略和 Nash 协商解来平衡数据的精度和能耗之间的取舍，从而实现在收敛速度和能耗上的双重收益。模拟结果表明，该方法能够将能耗降低 70%，收敛速度不受影响。

Jul, 2022

通过使用分布式自监督学习以及低位量化，Fed-QSSL 是一个旨在解决联邦学习系统中异质性的方案，并通过解量化、加权聚合和重新量化在客户端设备上创建个性化的模型，验证了该算法的有效性，并对低位训练对学习模型的收敛性和健壮性进行了理论分析。

Dec, 2023

提出一种新的基于学习的算法，用于在目标计算约束和模型大小下端到端地推导混合精度模型。该方法能够通过逐渐调整模型中每个层 / 核心的位宽，实现两个连续位宽的分数状态来满足资源约束，使量化的使模型经过量化感知训练，能够最终获得优化的混合精度模型，并且可以与通道剪枝自然结合使用，以更好地分配计算成本。实验结果表明，在 ImageNet 数据集上，我们的最终模型在不同的资源约束下，达到了与之前混合精度量化方法相当或更好的性能。

Jul, 2020

本文旨在将联邦学习引入未来无线网络的设计中，为了在移动设备上进行能源高效的联邦学习提出了一种新颖的无线传输和权重量化的联合设计方法。通过建立混合整数规划问题，制定了灵活的权重量化计划，以最小化所有移动设备的联邦学习总能耗（计算 + 传输），同时保证模型性能和训练延迟。通过大量的模拟实验，验证了该方案的有效性。

Dec, 2020

本文提出了一种新的随机可微量化（SDQ）方法，利用不同层和模块的优化比特宽度来自动学习混合精度量化策略，并利用熵感知的分 bin 正则化和知识蒸馏对网络进行训练，经过在不同硬件和数据集上广泛的评估，SDQ 在较低的比特宽度下优于所有最先进的混合或单精度量化，甚至优于各种 ResNet 和 MobileNet 家族的全精度对应物，展示了我们的方法的有效性和优越性。

Jun, 2022