嘈杂下行联邦学习的收敛性

Aug, 2020

Convergence of Federated Learning over a Noisy Downlink

Mohammad Mohammadi Amiri, Deniz Gunduz, Sanjeev R. Kulkarni, H. Vincent Poor

TL;DR本文研究了联合学习中带宽受限的广播通道对性能的影响，提出了数字和模拟两种下行传输方法，并证明了模拟方法的收敛性更好，尤其在数据分布不均和设备能够更好地估计全局模型时性能更优。

Abstract

We study federated learning (FL), where power-limited wireless devices utilize their local datasets to collaboratively train a global model with the help of a remote parameter server (PS). The PS has access to the global model and shares it with the devices for local training, and the

federated learning bandwidth-limited broadcast channels convergence analog transmission

发现论文，激发创造

使用下行设备选择的联邦学习

本文研究联邦边缘学习在无线网络边缘使用隐私数据协作训练全局模型，通过数字下行传输，设计了一个部分设备参与的框架和设备选择方法，实验结果表明最佳参与设备数量取决于统计偏差的 MNIST 数据集。

Jul, 2021

无线边缘联邦学习中，更新感知设备调度的收敛性

本研究探讨了在带宽受限的无线通道中，通过设计新的调度和资源分配策略，决定在每次迭代中要传输哪些设备的本地模型更新，并考虑到局部模型更新的重要性，实现联邦学习算法的收敛性和长期性能的优化。

Jan, 2020

噪声通道上的联邦学习：收敛分析和设计示例

本研究旨在回答联邦学习在上下行通信均存在错误的情况下，可以处理多少通信噪声，以及对学习性能的影响。通过将上行和下行噪声通道明确地纳入联邦学习管道中，提出了几种新的联邦学习收敛性分析。结果表明，为了保持与无通信错误的理想情况相同的收敛行为，需要控制直接模型传输的上行和下行信噪比，使其随通信轮数的指数 t 的平方数量级增长，但可以在模型差分传输中保持不变。这些理论结果的关键洞察力是 “低调飞行” 原则 - 随机梯度下降是一种内在的嘈杂过程，只要上行 / 下行通信噪声不占支配地位，就可以容忍它们。

Jan, 2021

联邦学习上行和下行通信的设计与分析

本文重点研究了有关物理层量化和传输方法在无线联邦学习中的设计和分析，并通过实验评估了 FL 定制上行和下行通信设计的巨大优势，其中包括 1 位量化（浮点基线带宽的 3.1％）在 MNIST 上实现了 99.8％的浮点基线准确度，代表着作者所知的最佳带宽 - 准确度平衡。

Dec, 2020

量化全局模型更新的联邦学习

本文提出一种基于压缩全局模型的损失型联邦学习算法（LFL），该算法相对于完全无损方法，使用较少的通信资源来实现相同的收敛性。

Jun, 2020

联合学习和通信框架用于无线网络联邦学习

研究了在现实无线网络上训练联邦学习算法的问题，提出了一种联合学习、无线资源分配和用户选择的优化问题，并获得了期望收敛速率的闭式表达式，从而实现最小化 FL 损失函数的最优用户选择和上行资源块分配。

Sep, 2019

无线网络联邦学习的收敛时间优化

本研究旨在解决联邦学习在无线网络中的收敛速度问题，通过提出一种概率用户选择方案以及利用人工神经网络来估计未被分配资源块的用户的局部模型，从而在优化联邦学习性能的基础上最小化收敛时间。

Jan, 2020

面向噪声环境的联邦学习收敛性分析与信噪比控制策略的改进

本文提出了基于信噪比控制策略的联邦学习收敛率提高方法，并探讨了传输中的非完美通信对联邦学习收敛率的影响，结果发现下行通信噪声对于收敛有更严重的影响。

Jul, 2023

基于无线设备间网络的联邦学习算法与收敛分析

该研究探讨了基于设备对设备（D2D）网络的联邦学习，在分布式随机梯度下降算法实现中，利用随机线性编码和空中计算的数字和模拟传输方案进行通信效率的改进，并且在假设凸性和连通性的情况下提供了收敛性结果。

Jan, 2021

无线量化联邦学习：一种联合计算和通信设计

本文旨在通过在上传之前对本地模型参数进行量化，最小化联邦学习的总收敛时间，以保证在所有全局轮次中的最小收敛时间。我们利用随机量化对 FL 算法的收敛性进行了收敛分析，同时综合优化了计算，通讯资源和量化比特数，以保证在所有全局轮次中的最小收敛时间，同时满足能源和量化误差的要求。我们对量化误差对收敛时间的影响进行了评估，并揭示了模型准确性与及时执行之间的平衡。此外，所提出的方法被证明与基线方案相比，可以加速收敛速度，并为量化误差容忍度的选择提供有用的见解。

Mar, 2022