无线联邦学习中数据异构的分析与优化
提出了一种处理异构用户设备数据的联邦学习算法,同时结合对微波资源分配问题的优化,实现了收敛速率和能耗之间的平衡,并用 Tensorflow 实验验证了该算法的理论分析和优化表现。
Oct, 2019
研究了在现实无线网络上训练联邦学习算法的问题,提出了一种联合学习、无线资源分配和用户选择的优化问题,并获得了期望收敛速率的闭式表达式,从而实现最小化 FL 损失函数的最优用户选择和上行资源块分配。
Sep, 2019
通过将学习模型分为全局部分和个性化部分,以实现模型剪枝和个性化,本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架,并通过数学分析研究了其收敛性、计算和通信延迟,并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明,相比只进行模型个性化的方案,该框架能够显著减少约 50%的计算和通信延迟。
Sep, 2023
本文旨在将联邦学习引入未来无线网络的设计中,为了在移动设备上进行能源高效的联邦学习提出了一种新颖的无线传输和权重量化的联合设计方法。通过建立混合整数规划问题,制定了灵活的权重量化计划,以最小化所有移动设备的联邦学习总能耗(计算 + 传输),同时保证模型性能和训练延迟。通过大量的模拟实验,验证了该方案的有效性。
Dec, 2020
研究了基于无线通信网络的联邦学习中的能源有效传输和计算资源分配问题,并提出了一种迭代算法,以解决此优化问题,并通过数值结果表明了该算法相对于传统 FL 方法可将能源消耗降低高达 59.5%。
Nov, 2019
通过网络设计和资源编排的两个方面讨论了实现可扩展无线联邦学习的挑战和解决方案,并提出了三种面向任务的学习算法来提高算法的可扩展性,实现对无线联邦学习的计算高效资源分配。
Oct, 2023
本文提出了一种应用于多个下游任务的异步模型传输的联邦学习方法,通过引入调度张量来表征设备调度,并通过收敛性分析探究了资源分配、设备调度和个体模型状态等对机器学习性能的影响,进而通过非凸混合整数优化问题来调整资源分配和设备调度,以在能量消耗和性能之间达到高效平衡,并通过数值模拟揭示了该方法在模型性能和网络资源节约方面的优势。
May, 2023
机器学习的未来在于边缘计算,用于数据收集和训练,联邦学习是实现这一目标的一种方法。本文提出了一种新的聚合框架,用于解决联邦优化中的计算异构性问题,包括异构数据和本地更新,并从理论和实验的角度进行了广泛的分析。
Jul, 2023
本文主要解决采用联邦学习模型时,如何通过控制工作负载分配,最小化异构设备上的能源消耗问题。作者提出了一种基于伪多项式的最优解决方案,并针对单调递增的情况提出了四种算法。
Sep, 2022
本文提出名为 HeteroFL 的新型联邦学习框架,旨在解决具有非常不同计算和通信能力的异构客户端的问题,并通过几种策略增强 FL 训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估,通过自适应分配子网络来提高 FL 训练的计算和通信效率。
Oct, 2020