Mar, 2024

自适应联邦学习在空中的应用

PDF
TL;DR通过无线信道特性的迭加性以及动态调整的全局梯度更新步长，我们提出了一种适用于无线环境下的模型训练框架中 AdaGrad 和 Adam 的联邦版本。通过推导包含信道衰落和干扰影响的广泛非凸损失函数训练算法的收敛速率，我们得出了使用 AdaGrad 的算法以 O (ln (T)/T^(1-1/α)) 的速率收敛到一个静止点，其中 α 代表电磁干扰的尾指数。相比之下，类似 Adam 的算法以 O (1/T) 的速率收敛，说明它在加快模型训练过程上的优势。我们进行了大量实验证实了理论发现，并证实了我们提出的联邦自适应梯度方法的实际有效性。
发现论文，激发创造
  • 无线联邦策略梯度

    提出了一种通过无线信道共享本地信息并使用接收到的聚合波形来更新策略参数的无线联合策略梯度算法，并研究了噪声和信道失真对算法收敛性的影响，确定了通信和采样的复杂度以找到一个近似稳定点，并通过模拟结果展示了算法的有效性。

    Oct, 2023

  • 利用标准化梯度聚合的无线计算辅助联邦学习

    通过将本地梯度归一化，改进了过程中最相关工作对于放大因子选择的假设不准确的问题，同时在平滑和强凸损失函数的情况下，提出的方法能够以次线性或线性速率收敛到稳定点，还发现了收敛速率和容差之间的权衡，并通过优化系统参数加快了收敛速度，实验结果表明该方法在收敛性能上优于基准方法。

    Aug, 2023

  • 无线联邦学习与优化

    使用过空中计算的联邦学习方法，研究了在无线网络上进行联邦学习时由于信道衰落和噪声引起的模型聚合误差，包括收敛性、影响、收敛速率、传输方案和通信效率等方面，并通过仿真验证了理论结论。

    Oct, 2023

  • 异构数据的无线联邦学习

    本文介绍了一种名为 Convergent OTA FL 的 Federated learning 算法，通过引入预编码和缩放，逐步缓解了 OTA FL 中通道噪声对优化过程的影响，并分析了其收敛率和在统计异构设置下的效果。

    Sep, 2020

  • 通过无线计算进行联邦学习

    提出了一种基于超过空气计算的方法，探索了无线多接入通道的叠加属性，用于边缘机器学习中的快速全局模型聚合。

    Dec, 2018

  • Local AdaAlter: 基于自适应学习率的通信高效性随机梯度下降

    本篇论文提出了一种新的 SGD 变体算法，降低了通信开销及提高自适应学习率，经实验证明，该算法显著降低了通信开销，进而缩短了 1B 字数据集的训练时间 30%。

    Nov, 2019

  • 边缘机器学习：基于分布式随机梯度下降的空中传输

    本研究在有限的功率和带宽条件下，探索了运用多个边缘设备进行分布式随机梯度下降算法的联邦机器学习，提出了 D-DSGD 和 A-DSGD 两个方法，其中 A-DSGD 采用了一项新颖的模拟方案，比 D-DSGD 更快地收敛，并表现出更好的鲁棒性和可扩展性。

    Jan, 2019

  • 非独立分散数据的有效联邦自适应梯度方法

    本文提出了各种基于联邦学习的自适应梯度方法以及各种校准方法，比如标准 Adam，p-Adam 和激活函数校准方法等等，为非凸优化中非独立同分布和不平衡数据中的（校准的）联邦 AGMs 提供了第一组理论结果。通过与现有的联邦学习方法 FedAvg、FedMomentum 和 SCAFFOLD 进行了广泛的实验比较，可以看出 AGMs 相对于当前联邦学习方法的优势。

    Sep, 2020

  • 通过无线信道进行的 q-QAM 盲联合学习

    在这项研究中，我们针对多路径 fading 信道进行了联合边缘学习的研究，通过引入一种创新的数字过空中计算策略，采用 q 进制正交幅度调制，提出了一种低时延通信方案。我们分析了消除无线通信中的 fading 所需的天线数量，并通过数值实验证实了理论的保证，证明了边缘服务器增加天线数量和采用高阶调制可以提高模型准确性达到 60％。

    Nov, 2023

  • 利用无线信道进行可扩展和隐私保护的联邦学习

    通过模拟传输和交替方向乘法的方法（ADMM），在单个信道上利用无线通道波动和干扰来改善隐私、带宽效率和可伸缩性的可扩展联合学习机制，可实现收敛保证的隐私保护，同时提高收敛速度、可扩展性、通信带宽和能量效率。

    Jul, 2020