高失真率压缩辅助联邦学习的资源分配
研究了联邦学习中模型更新的统计学特性及各种压缩技术的作用和优劣,提出了基于失真作为可靠的模型精度代理的降低通信成本的新方法,并在 Stack Overflow 下一个真实具有挑战性的 FL 基准测试中实现了接近最优的通信成本降低,在多个数据集、优化器、客户端和训练轮次中,失真 - 失真前沿保持一致。
Jan, 2022
本论文系统地研究了通信成本和模型准确性之间的权衡,提出了一种自适应网络压缩率最大化最终模型准确性的框架,根据实验结果,这种解决方案可以有效降低网络流量并保持联邦学习中的高模型准确性。
Dec, 2021
通过将学习模型分为全局部分和个性化部分,以实现模型剪枝和个性化,本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架,并通过数学分析研究了其收敛性、计算和通信延迟,并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明,相比只进行模型个性化的方案,该框架能够显著减少约 50%的计算和通信延迟。
Sep, 2023
本研究提出一种灵活的通信压缩控制方案,使得现代移动终端设备能够更加高效的参与大规模移动边缘设备的联合学习,进而在不影响学习性能的前提下节约能量消耗。
Dec, 2020
本文旨在通过在上传之前对本地模型参数进行量化,最小化联邦学习的总收敛时间,以保证在所有全局轮次中的最小收敛时间。我们利用随机量化对 FL 算法的收敛性进行了收敛分析,同时综合优化了计算,通讯资源和量化比特数,以保证在所有全局轮次中的最小收敛时间,同时满足能源和量化误差的要求。我们对量化误差对收敛时间的影响进行了评估,并揭示了模型准确性与及时执行之间的平衡。此外,所提出的方法被证明与基线方案相比,可以加速收敛速度,并为量化误差容忍度的选择提供有用的见解。
Mar, 2022
本文研究压缩技术对典型图像分类任务的联邦学习的影响,并证明了一种简单的方法可以在保持不到 1% 准确率损失的同时压缩 50% 的消息,与最先进的技术相媲美。
Oct, 2023
研究了基于无线通信网络的联邦学习中的能源有效传输和计算资源分配问题,并提出了一种迭代算法,以解决此优化问题,并通过数值结果表明了该算法相对于传统 FL 方法可将能源消耗降低高达 59.5%。
Nov, 2019
研究了在现实无线网络上训练联邦学习算法的问题,提出了一种联合学习、无线资源分配和用户选择的优化问题,并获得了期望收敛速率的闭式表达式,从而实现最小化 FL 损失函数的最优用户选择和上行资源块分配。
Sep, 2019
采用通信高效的去中心化贝叶斯联邦学习策略,通过集成压缩策略和允许设备在发送本地后验分布之前执行多个优化步骤,以减少通信开销而不牺牲学习准确性和校准,得到与传统(未压缩)贝叶斯联邦学习工具相兼容且高度准确且良好校准的机器学习模型的工业物联网应用实例结果表明,该方法在校准方面具有优势,特别是在测试数据集的统计分布发生变化时。
May, 2024
采用两种新策略(global model 压缩和 Federated Dropout)和现有压缩方法的结合,可以综合降低联邦学习对服务器到客户端通信的成本高达 14 倍、本地计算量 1.7 倍并在上传通信方面降低 28 倍,同时不降低最终模型的质量,从而全面降低了联邦学习对客户端设备资源的影响。
Dec, 2018