无线网络异步多模型联邦学习：理论、建模和优化

May, 2023

无线网络异步多模型联邦学习：理论、建模和优化

Asynchronous Multi-Model Federated Learning over Wireless Networks: Theory, Modeling, and Optimization

Zhan-Lun Chang, Seyyedali Hosseinalipour, Mung Chiang, Christopher G. Brinton

TL;DR本文提出了一种应用于多个下游任务的异步模型传输的联邦学习方法，通过引入调度张量来表征设备调度，并通过收敛性分析探究了资源分配、设备调度和个体模型状态等对机器学习性能的影响，进而通过非凸混合整数优化问题来调整资源分配和设备调度，以在能量消耗和性能之间达到高效平衡，并通过数值模拟揭示了该方法在模型性能和网络资源节约方面的优势。

Abstract

federated learning (FL) has emerged as a key technique for distributed machine learning (ML). Most literature on FL has focused on systems with (i) ML model training for a single task/model, (ii) a synchronous setting for uplink/downlink transfer of model parameters, which is often unr

federated learning multiple downstream tasks asynchronous model transmission convergence analysis mixed integer optimization

发现论文，激发创造

无线网络上的联邦学习：收敛分析和资源分配

提出了一种处理异构用户设备数据的联邦学习算法，同时结合对微波资源分配问题的优化，实现了收敛速率和能耗之间的平衡，并用 Tensorflow 实验验证了该算法的理论分析和优化表现。

Oct, 2019

MAS：面向资源高效的联邦多任务学习

提出一种用于协调和训练多个同时进行的联邦学习任务的系统，名为 MAS（Merge and Split），通过多任务架构将多个任务合并为一个任务进行训练，并根据任务之间的亲和度在训练过程中将其拆分成两个或更多任务继续训练，实验证明 MAS 方法在性能优化方面胜过其他方法，同时减少训练时间 2 倍并降低 40% 的能源消耗。

Jul, 2023

无线联邦学习中快速收敛的设备调度

本文以联邦学习为背景，提出一种联合带宽分配和设备调度问题的解决方案，该方案通过一个贪心算法和运行时间预算中定向分配宽带的优化模型实现，从而在模型精度和训练时间预算方面实现了最好的性能表现。

Nov, 2019

异步无线联邦学习与概率客户端选择

通过联邦学习解决异步模式下的执行阻塞问题，提出利用概率选择客户端和带宽分配来优化异步联邦学习的收敛速度和移动能源消耗的问题，并通过实验验证了该方法的优越性。

Nov, 2023

迈向可扩展的无线联合学习：挑战与解决方案

通过网络设计和资源编排的两个方面讨论了实现可扩展无线联邦学习的挑战和解决方案，并提出了三种面向任务的学习算法来提高算法的可扩展性，实现对无线联邦学习的计算高效资源分配。

Oct, 2023

无线联邦学习中数据异构的分析与优化

本文针对数据异构性与无线资源分配相结合的无线联邦学习问题，提出了性能分析与优化的方法，在考虑数据异构性的同时，优化客户端调度、资源分配和本地训练轮数，通过实验验证了该算法在学习准确性和能量消耗方面的优势。

Aug, 2023

异构设备上的异步联邦学习：综述

该研究基于一项新的分类机制，综合分析和总结了现有各种异步 FL 范式，包括异构设备上的设备异构性、数据异构性、隐私和安全性，以及异构设备上的应用。该研究揭示了该领域面临的挑战并提出了潜在的研究方向。

Sep, 2021

半联邦学习：混合学习框架的收敛分析与优化

通过提出一种半联合学习（SemiFL）范式，将基站（BS）和设备的计算能力结合起来，实现集中式学习（CL）和联邦学习（FL）的混合实施。通过设计一种新颖的收发器结构，将空中计算和非正交多址接入应用于聚合和传输，提高了通信效率，并证明了 FL 和 CL 是 SemiFL 的特例。然后，通过联合优化发送功率和接收波束形成器来减小最优性差距，并提供了解析解。两个真实数据集上的广泛模拟实验结果证实了我们的理论分析，并显示相比于最先进的基准，所提出的 SemiFL 在 MNIST 数据集上取得了 3.2% 的准确度提高。

Oct, 2023

无线网络联邦学习的调度策略

本文基于一个分析模型，研究了联邦学习在无线网络中的性能表现和调度策略，并发现在高信噪比下使用比例公平调度策略会比随机调度和轮询调度策略更有效，而在低信噪比下轮询调度策略更为可取。同时发现了更新参数的压缩和量化在提高联邦学习收敛速度方面的重要性，并揭示了在可用频谱量不变的情况下调度的用户数和子信道带宽之间的权衡关系。

Aug, 2019

无线网络上高效计算与通信的联邦学习

通过将学习模型分为全局部分和个性化部分，以实现模型剪枝和个性化，本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架，并通过数学分析研究了其收敛性、计算和通信延迟，并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明，相比只进行模型个性化的方案，该框架能够显著减少约 50％的计算和通信延迟。

Sep, 2023