无线网络上高效计算与通信的联邦学习

Sep, 2023

无线网络上高效计算与通信的联邦学习

Computation and Communication Efficient Federated Learning over Wireless Networks

Xiaonan Liu, Tharmalingam Ratnarajah

TL;DR通过将学习模型分为全局部分和个性化部分，以实现模型剪枝和个性化，本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架，并通过数学分析研究了其收敛性、计算和通信延迟，并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明，相比只进行模型个性化的方案，该框架能够显著减少约 50％的计算和通信延迟。

Abstract

federated learning (FL) allows model training from local data by edge devices while preserving data privacy. However, the learning accuracy decreases due to the heterogeneity of devices data, and the computation and communication latency increase when updating large scale learning mode

federated learning model pruning personalization computation and communication latency convergence analysis

发现论文，激发创造

分层无线网络中的自适应联邦剪枝

本文在无线网络中为分层式联邦学习引入了模型剪枝技术，通过联合优化剪枝比例和无线资源分配，旨在最大化模型收敛速度以达到给定延迟阈值，并通过解耦优化问题和使用 KKT 条件得出了剪枝比例和无线资源分配的闭式解，并通过模拟结果展示了模型剪枝在 HFL 中实现了减少了约 50％的通信成本而实现了相似的学习准确率。

May, 2023

无线通信网络上的能效联邦学习

研究了基于无线通信网络的联邦学习中的能源有效传输和计算资源分配问题，并提出了一种迭代算法，以解决此优化问题，并通过数值结果表明了该算法相对于传统 FL 方法可将能源消耗降低高达 59.5％。

Nov, 2019

联合学习和通信框架用于无线网络联邦学习

研究了在现实无线网络上训练联邦学习算法的问题，提出了一种联合学习、无线资源分配和用户选择的优化问题，并获得了期望收敛速率的闭式表达式，从而实现最小化 FL 损失函数的最优用户选择和上行资源块分配。

Sep, 2019

无线联邦学习中数据异构的分析与优化

本文针对数据异构性与无线资源分配相结合的无线联邦学习问题，提出了性能分析与优化的方法，在考虑数据异构性的同时，优化客户端调度、资源分配和本地训练轮数，通过实验验证了该算法在学习准确性和能量消耗方面的优势。

Aug, 2023

一种面向设备的联邦学习众包框架

本文提出了一种新的众包框架来解决分散式学习中的通信效率问题，并通过制定参与客户端的准入控制方案来保证其本地准确性水平。通过基于激励和 Stackelberg 游戏等模型的分析与模拟实验，证明了该方案的有效性。

Nov, 2019

探索联邦学习的实用性：从通信的角度进行调查

调查分析了通信高效的联合学习方法，定义了通信效率的度量方法并提供了系统全面的分类和评述，讨论了提高联合学习系统通信效率的未来研究方向。

May, 2024

无线量化联邦学习：一种联合计算和通信设计

本文旨在通过在上传之前对本地模型参数进行量化，最小化联邦学习的总收敛时间，以保证在所有全局轮次中的最小收敛时间。我们利用随机量化对 FL 算法的收敛性进行了收敛分析，同时综合优化了计算，通讯资源和量化比特数，以保证在所有全局轮次中的最小收敛时间，同时满足能源和量化误差的要求。我们对量化误差对收敛时间的影响进行了评估，并揭示了模型准确性与及时执行之间的平衡。此外，所提出的方法被证明与基线方案相比，可以加速收敛速度，并为量化误差容忍度的选择提供有用的见解。

Mar, 2022

利用联邦学习改变无线网络：全面回顾

通过提出的机器学习模型联邦学习（FL），本文讨论了机器学习在无线通信中的重要性，并强调 FL 在未来移动网络中，尤其是 6G 及以上的关键作用。

Aug, 2023

灵活的通讯压缩：面向异构移动边缘设备的能效联邦学习

本研究提出一种灵活的通信压缩控制方案，使得现代移动终端设备能够更加高效的参与大规模移动边缘设备的联合学习，进而在不影响学习性能的前提下节约能量消耗。

Dec, 2020

半联邦学习：混合学习框架的收敛分析与优化

通过提出一种半联合学习（SemiFL）范式，将基站（BS）和设备的计算能力结合起来，实现集中式学习（CL）和联邦学习（FL）的混合实施。通过设计一种新颖的收发器结构，将空中计算和非正交多址接入应用于聚合和传输，提高了通信效率，并证明了 FL 和 CL 是 SemiFL 的特例。然后，通过联合优化发送功率和接收波束形成器来减小最优性差距，并提供了解析解。两个真实数据集上的广泛模拟实验结果证实了我们的理论分析，并显示相比于最先进的基准，所提出的 SemiFL 在 MNIST 数据集上取得了 3.2% 的准确度提高。

Oct, 2023