利用标准化梯度聚合的无线计算辅助联邦学习

Aug, 2023

利用标准化梯度聚合的无线计算辅助联邦学习

Over-the-Air Computation Aided Federated Learning with the Aggregation of Normalized Gradient

Rongfei Fan, Xuming An, Shiyuan Zuo, Han Hu

TL;DR通过将本地梯度归一化，改进了过程中最相关工作对于放大因子选择的假设不准确的问题，同时在平滑和强凸损失函数的情况下，提出的方法能够以次线性或线性速率收敛到稳定点，还发现了收敛速率和容差之间的权衡，并通过优化系统参数加快了收敛速度，实验结果表明该方法在收敛性能上优于基准方法。

Abstract

over-the-air computation is a communication-efficient solution for federated learning (FL). In such a system, iterative procedure is performed: Local gradient of private loss function is updated, amplified and then transmitted by every mobile device; the server receives the aggregated

over-the-air computation federated learning amplification factor selection convergence performance system parameter optimization

发现论文，激发创造

无线联邦学习与优化

使用过空中计算的联邦学习方法，研究了在无线网络上进行联邦学习时由于信道衰落和噪声引起的模型聚合误差，包括收敛性、影响、收敛速率、传输方案和通信效率等方面，并通过仿真验证了理论结论。

Oct, 2023

自适应联邦学习在空中的应用

通过无线信道特性的迭加性以及动态调整的全局梯度更新步长，我们提出了一种适用于无线环境下的模型训练框架中 AdaGrad 和 Adam 的联邦版本。通过推导包含信道衰落和干扰影响的广泛非凸损失函数训练算法的收敛速率，我们得出了使用 AdaGrad 的算法以 O (ln (T)/T^(1-1/α)) 的速率收敛到一个静止点，其中 α 代表电磁干扰的尾指数。相比之下，类似 Adam 的算法以 O (1/T) 的速率收敛，说明它在加快模型训练过程上的优势。我们进行了大量实验证实了理论发现，并证实了我们提出的联邦自适应梯度方法的实际有效性。

Mar, 2024

无线联邦策略梯度

提出了一种通过无线信道共享本地信息并使用接收到的聚合波形来更新策略参数的无线联合策略梯度算法，并研究了噪声和信道失真对算法收敛性的影响，确定了通信和采样的复杂度以找到一个近似稳定点，并通过模拟结果展示了算法的有效性。

Oct, 2023

通过无线计算进行联邦学习

提出了一种基于超过空气计算的方法，探索了无线多接入通道的叠加属性，用于边缘机器学习中的快速全局模型聚合。

Dec, 2018

基于单位模幂远程计算的边缘联邦学习

本文提出了一种基于 UMAirComp 框架的的边缘联邦学习方式，该框架可利用模拟波束成形同时上传本地模型参数并更新全局模型参数，从而避免了复杂的基带信号处理，大大降低了通信延迟和实现成本。此外，还提出了一种面向非凸非光滑损失约束下的低复杂度大规模优化算法 PAM 和 AGP，并在基于 UMAirComp 框架的边缘联邦学习系统中获得较小的均方误差、训练损失和测试误差。最后，本文通过在车联网驾驶模拟平台中的测试表明，UMAirComp 系统对于自主驾驶任务比其他任务更加敏感由于自主行驶的神经网络包含更加稀疏的模型参数。

Jan, 2021

异构数据的无线联邦学习

本文介绍了一种名为 Convergent OTA FL 的 Federated learning 算法，通过引入预编码和缩放，逐步缓解了 OTA FL 中通道噪声对优化过程的影响，并分析了其收敛率和在统计异构设置下的效果。

Sep, 2020

联合功率控制与数据大小选择用于辅助联邦学习的空中计算

联合优化基站和移动设备的信号放大因子以及每个移动设备参与本地训练的数据量，提出了一种减少均方误差的方法，有助于改善联合学习的训练性能。

Aug, 2023

通过削峰压控实现带压缩的空中协作学习的收敛分析

本文提出了基于范数剪切的空中联邦学习机制，称作 AirFL-Clip 和 AirFL-Clip-Comp，并且为这两种机制提供了收敛性分析，支持离线评估。同时，作者扩展了这两种机制，支持 Top-k 稀疏化和线性压缩。通过实验证明，这个方法可以有效地解决无线通信下联邦学习的能耗和带宽限制问题。

May, 2023

平衡数字上的无线计算

本文提出了一种数字化无线计算方案，使用均衡数系统中相应数字的平均值来近似计算一组实数参数的平均值，并使用该方案将本地梯度编码为一组数字，以确定活动的正交频分复用子载波的位置，同时不需要精确的采样级时间同步、信道估计开销和功率不稳定性，并演示其在联邦边缘学习（FEEL）中的性能。

Sep, 2022

基于平衡数制的联邦边缘学习的无线计算

本研究提出了一种数字无线计算方案，用于实现联合边缘学习的连续值（模拟量）聚合，利用该方案对局部随机梯度进行编码，通过非相干接收机和自适应绝对最大值的概念，实现了优异的测试准确度。

Oct, 2022