联邦量化神经网络中能量、精度和准确性的平衡
本研究探讨了一种基于定点神经网络的低能耗联邦学习框架,通过使用多目标优化策略和 Nash 协商解来平衡数据的精度和能耗之间的取舍,从而实现在收敛速度和能耗上的双重收益。模拟结果表明,该方法能够将能耗降低 70%,收敛速度不受影响。
Jul, 2022
本文旨在将联邦学习引入未来无线网络的设计中,为了在移动设备上进行能源高效的联邦学习提出了一种新颖的无线传输和权重量化的联合设计方法。通过建立混合整数规划问题,制定了灵活的权重量化计划,以最小化所有移动设备的联邦学习总能耗(计算 + 传输),同时保证模型性能和训练延迟。通过大量的模拟实验,验证了该方案的有效性。
Dec, 2020
本文旨在通过在上传之前对本地模型参数进行量化,最小化联邦学习的总收敛时间,以保证在所有全局轮次中的最小收敛时间。我们利用随机量化对 FL 算法的收敛性进行了收敛分析,同时综合优化了计算,通讯资源和量化比特数,以保证在所有全局轮次中的最小收敛时间,同时满足能源和量化误差的要求。我们对量化误差对收敛时间的影响进行了评估,并揭示了模型准确性与及时执行之间的平衡。此外,所提出的方法被证明与基线方案相比,可以加速收敛速度,并为量化误差容忍度的选择提供有用的见解。
Mar, 2022
引入混合精度量化方法到异构资源联邦学习系统中以解决通信和计算瓶颈问题,并在多个模型架构和数据集上进行了广泛的基准性实验验证其优于固定精度量化的性能。
Nov, 2023
通过使用量化的综合方法,联合上下行适应性量化以减少通信开销,我们优化了学习收敛性,并通过确定最优的上行和下行量化位数进行了通信能量约束。实验结果表明,所提出的联合上行和下行适应性量化策略与现有方案相比,能够节省高达 66.7% 的能量。
Jun, 2024
基于边缘设备的联邦学习方法通过采用高效的通信技术来分布机器学习任务,相比于集中式解决方案,减少了数据存储和计算复杂性方面的开销。该论文提出了一个用于实时监测联邦学习系统能源和碳足迹影响的框架,并通过对共识(完全分散)和经典联邦学习策略的评估,首次定量评估了不同的计算和通信高效联邦学习方法在能源消耗和碳等效排放方面的表现,并提供了能效设计的一般指导原则。研究结果表明,在通信能效较低(即 < 25 Kbit/Joule)时,应优先选择共识驱动的联邦学习实现以限制碳排放。此外,量化和稀疏化操作被证明在学习性能和能源消耗之间达到了平衡,从而导致了可持续的联邦学习设计。
Oct, 2023
在分布式学习中,为了解决参数聚合带来的通信开销和单点故障问题,本论文研究了如何有效利用有限资源以提高模型性能。我们通过优化本地训练轮次的数量和节能聚合方案,提出了一个解决方案,该方案在不同设备上实现了更好的性能表现,并消耗比传统聚合方案更少的能量。
Mar, 2024
该论文提出了一种基于量化的后训练量化流程,无需重新训练即可加速深度神经网络的推理,并得到了在 ImageNet 上 6 位的 Top-1 准确率增加 2.2% 的结果。
Oct, 2022
本文针对分层联邦学习问题,引入神经网络量化,提出了一种更加严格的收敛界限,优化客户端和边缘云多级聚合策略,同时借助仿真结果验证了策略的有效性。
Mar, 2021