本文旨在通过在上传之前对本地模型参数进行量化,最小化联邦学习的总收敛时间,以保证在所有全局轮次中的最小收敛时间。我们利用随机量化对 FL 算法的收敛性进行了收敛分析,同时综合优化了计算,通讯资源和量化比特数,以保证在所有全局轮次中的最小收敛时间,同时满足能源和量化误差的要求。我们对量化误差对收敛时间的影响进行了评估,并揭示了模型准确性与及时执行之间的平衡。此外,所提出的方法被证明与基线方案相比,可以加速收敛速度,并为量化误差容忍度的选择提供有用的见解。
Mar, 2022
本文旨在将联邦学习引入未来无线网络的设计中,为了在移动设备上进行能源高效的联邦学习提出了一种新颖的无线传输和权重量化的联合设计方法。通过建立混合整数规划问题,制定了灵活的权重量化计划,以最小化所有移动设备的联邦学习总能耗(计算 + 传输),同时保证模型性能和训练延迟。通过大量的模拟实验,验证了该方案的有效性。
Dec, 2020
用于解决联邦学习中数据隐私问题导致的设备端数据无法被中心服务器使用的问题,本文提出了一种基于估计方案的设备选择算法,以最小化类别不平衡来提高联邦学习全局模型的收敛性能。
Nov, 2020
本研究探讨了一种基于定点神经网络的低能耗联邦学习框架,通过使用多目标优化策略和 Nash 协商解来平衡数据的精度和能耗之间的取舍,从而实现在收敛速度和能耗上的双重收益。模拟结果表明,该方法能够将能耗降低 70%,收敛速度不受影响。
Jul, 2022
通过将学习模型分为全局部分和个性化部分,以实现模型剪枝和个性化,本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架,并通过数学分析研究了其收敛性、计算和通信延迟,并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明,相比只进行模型个性化的方案,该框架能够显著减少约 50%的计算和通信延迟。
Sep, 2023
通过使用量化的综合方法,联合上下行适应性量化以减少通信开销,我们优化了学习收敛性,并通过确定最优的上行和下行量化位数进行了通信能量约束。实验结果表明,所提出的联合上行和下行适应性量化策略与现有方案相比,能够节省高达 66.7% 的能量。
Jun, 2024
本文提出了一种新的众包框架来解决分散式学习中的通信效率问题,并通过制定参与客户端的准入控制方案来保证其本地准确性水平。通过基于激励和 Stackelberg 游戏等模型的分析与模拟实验,证明了该方案的有效性。
Nov, 2019
本文研究压缩技术对典型图像分类任务的联邦学习的影响,并证明了一种简单的方法可以在保持不到 1% 准确率损失的同时压缩 50% 的消息,与最先进的技术相媲美。
Oct, 2023
本研究旨在解决联合学习中模型传输的瓶颈问题,提出一种名为 UVeQFed 的通用向量量化方案,通过量化方法的优化,实现了一种去中心化的训练系统,在保证模型传输最小化失真的同时提高了聚合模型的准确性。
Jun, 2020
本文针对分层联邦学习问题,引入神经网络量化,提出了一种更加严格的收敛界限,优化客户端和边缘云多级聚合策略,同时借助仿真结果验证了策略的有效性。
Mar, 2021