无线联邦学习的最优批次分配

Apr, 2024

Optimal Batch Allocation for Wireless Federated Learning

Jaeyoung Song, Sang-Woon Jeon

TL;DR联邦学习旨在建立一个适应分布在本地设备上的数据集的全局模型，其中本地设备无法直接访问私有数据，利用服务器与本地设备之间的通信。在实际通信方案中，我们研究了达到目标性能所需的完成时间。具体而言，我们分析了联邦学习从最小全局损失达到特定最优性差距所需的迭代次数。随后，我们对时间分配多址接入（TDMA）和随机接入（RA）这两种基本多址方案下的每次迭代所需时间进行了特征化。我们提出了一种逐步批次分配方法，证明该方法对基于 TDMA 的联邦学习系统是最优的。此外，我们证明了由所提出的逐步批次分配方法提供的设备之间的非零批次间隔显著降低了基于 RA 的学习系统的完成时间。数值评估通过真实数据实验证实了这些分析结果，凸显了大幅减少完成时间的显著潜力。

Abstract

federated learning aims to construct a global model that fits the dataset distributed across local devices without direct access to private data, leveraging communication between a server and the local devices. I

federated learning global model optimality gap time-division multiple access random access

发现论文，激发创造

多通道 ALOHA 的联邦学习

本文研究了在一种具有基站和许多具有本地数据集的用户的蜂窝系统中的联邦学习。我们发现，当一些用户由于其他任务或处于休眠状态而无法计算本地更新时，多通道随机接入比顺序轮询能提供更好的性能。此外，为了更好地进行联邦学习聚合，可以为给定的本地更新优化用户的访问概率。为此，我们制定了一个优化问题，并展示了分布式方法可以用于自适应地决定访问概率。

Dec, 2019

联合学习和通信框架用于无线网络联邦学习

研究了在现实无线网络上训练联邦学习算法的问题，提出了一种联合学习、无线资源分配和用户选择的优化问题，并获得了期望收敛速率的闭式表达式，从而实现最小化 FL 损失函数的最优用户选择和上行资源块分配。

Sep, 2019

无线联合学习中低延迟设备调度和资源分配

本文基于对计算能力和通信资源的有限制约束，提出了一种联邦学习的设备调度和资源分配策略，该策略通过低限性能损失的界限，将准确性最大化问题拆分为两个子问题，并通过贪心设备调度算法进行解决。实验证明，该策略在各种数据分布和小区半径下均优于现有调度策略。

Jul, 2020

无线联邦学习中快速收敛的设备调度

本文以联邦学习为背景，提出一种联合带宽分配和设备调度问题的解决方案，该方案通过一个贪心算法和运行时间预算中定向分配宽带的优化模型实现，从而在模型精度和训练时间预算方面实现了最好的性能表现。

Nov, 2019

多服务器无线联邦学习

本文提出了一种基于聚类的两层联邦学习算法，使用可扩展的聚类无线聚合方案实现算法的上行传输，使用适用于带宽受限的广播方案进行下行传输，展示了在干扰环境下该方法的高精度学习表现并导出该方法的收敛界。

Nov, 2022

无线联邦学习中数据异构的分析与优化

本文针对数据异构性与无线资源分配相结合的无线联邦学习问题，提出了性能分析与优化的方法，在考虑数据异构性的同时，优化客户端调度、资源分配和本地训练轮数，通过实验验证了该算法在学习准确性和能量消耗方面的优势。

Aug, 2023

无线联邦学习网络中的客户端选择与带宽分配：长期视角

本文讨论在无线网络中的联邦学习，研究如何在联邦学习网络中优化资源分配，同时兼顾长期和短期的因素，提出一种新的算法来解决这一问题，并在实验中得到不错的表现。

Apr, 2020

无线网络异步多模型联邦学习：理论、建模和优化

本文提出了一种应用于多个下游任务的异步模型传输的联邦学习方法，通过引入调度张量来表征设备调度，并通过收敛性分析探究了资源分配、设备调度和个体模型状态等对机器学习性能的影响，进而通过非凸混合整数优化问题来调整资源分配和设备调度，以在能量消耗和性能之间达到高效平衡，并通过数值模拟揭示了该方法在模型性能和网络资源节约方面的优势。

May, 2023

无线网络上的联邦学习：收敛分析和资源分配

提出了一种处理异构用户设备数据的联邦学习算法，同时结合对微波资源分配问题的优化，实现了收敛速率和能耗之间的平衡，并用 Tensorflow 实验验证了该算法的理论分析和优化表现。

Oct, 2019

针对低延迟联邦学习的移动感知联合用户调度和资源分配

联邦学习是一种高效的分布式机器学习方法，通过用户端的迭代本地模型训练和中央服务器端的全局模型聚合，保护用户的隐私。然而，现有的工作只研究了静态场景或用户位置的随机初始化，未能捕捉到真实网络中的用户移动。为了解决这个问题，在联邦学习中引入了用户的移动模型，并开发了一种用户调度和资源分配方法，以减小由于通信资源有限而带来的训练延迟。模拟结果表明，所提出的算法相比最先进的基线算法具有更好的性能，一定程度的用户移动可以提高训练性能。

Jul, 2023