MMDec, 2020

联邦学习上行和下行通信的设计与分析

PDF
TL;DR本文重点研究了有关物理层量化和传输方法在无线联邦学习中的设计和分析，并通过实验评估了 FL 定制上行和下行通信设计的巨大优势，其中包括 1 位量化（浮点基线带宽的 3.1％）在 MNIST 上实现了 99.8％的浮点基线准确度，代表着作者所知的最佳带宽 - 准确度平衡。
federated learningwireless communicationquantization methodslearning performancebandwidth-accuracy tradeoff
发现论文，激发创造
  • FedAQ: 基于上下行自适应量化的通信高效联邦边缘学习

    通过使用量化的综合方法，联合上下行适应性量化以减少通信开销，我们优化了学习收敛性，并通过确定最优的上行和下行量化位数进行了通信能量约束。实验结果表明，所提出的联合上行和下行适应性量化策略与现有方案相比，能够节省高达 66.7% 的能量。

    Jun, 2024

  • 无线量化联邦学习：一种联合计算和通信设计

    本文旨在通过在上传之前对本地模型参数进行量化，最小化联邦学习的总收敛时间，以保证在所有全局轮次中的最小收敛时间。我们利用随机量化对 FL 算法的收敛性进行了收敛分析，同时综合优化了计算，通讯资源和量化比特数，以保证在所有全局轮次中的最小收敛时间，同时满足能源和量化误差的要求。我们对量化误差对收敛时间的影响进行了评估，并揭示了模型准确性与及时执行之间的平衡。此外，所提出的方法被证明与基线方案相比，可以加速收敛速度，并为量化误差容忍度的选择提供有用的见解。

    Mar, 2022

  • 嘈杂下行联邦学习的收敛性

    本文研究了联合学习中带宽受限的广播通道对性能的影响，提出了数字和模拟两种下行传输方法，并证明了模拟方法的收敛性更好，尤其在数据分布不均和设备能够更好地估计全局模型时性能更优。

    Aug, 2020

  • 基于无线网络的绿色量化联邦学习：一种节能设计

    本研究探讨了一种基于定点神经网络的低能耗联邦学习框架，通过使用多目标优化策略和 Nash 协商解来平衡数据的精度和能耗之间的取舍，从而实现在收敛速度和能耗上的双重收益。模拟结果表明，该方法能够将能耗降低 70%，收敛速度不受影响。

    Jul, 2022

  • 联邦学习对通信错误的鲁棒性：上行信道和下行信道的比较研究

    本文研究了联邦学习在上行和下行通信错误方面的鲁棒性，理论分析表明鲁棒性取决于客户端数量和模型参数的数值范围，并提出了一个公式量化了上行通信能容忍的比特错误率（BER）高于下行通信的差异。通过大量实验证实了这些发现和理论分析。

    Oct, 2023

  • 多路接入信道上的通信高效联邦学习

    本研究基于多用户联合学习模型，旨在解决在大规模分布式学习中存在的通信瓶颈问题。该研究使用了一种随机梯度量化策略，得以精确定制不同节点的资源分配，减少通信开销，提高学习效率。

    Jan, 2020

  • 噪声通道上的联邦学习：收敛分析和设计示例

    本研究旨在回答联邦学习在上下行通信均存在错误的情况下，可以处理多少通信噪声，以及对学习性能的影响。通过将上行和下行噪声通道明确地纳入联邦学习管道中，提出了几种新的联邦学习收敛性分析。结果表明，为了保持与无通信错误的理想情况相同的收敛行为，需要控制直接模型传输的上行和下行信噪比，使其随通信轮数的指数 t 的平方数量级增长，但可以在模型差分传输中保持不变。这些理论结果的关键洞察力是 “低调飞行” 原则 - 随机梯度下降是一种内在的嘈杂过程，只要上行 / 下行通信噪声不占支配地位，就可以容忍它们。

    Jan, 2021

  • 联合学习和通信框架用于无线网络联邦学习

    研究了在现实无线网络上训练联邦学习算法的问题，提出了一种联合学习、无线资源分配和用户选择的优化问题，并获得了期望收敛速率的闭式表达式，从而实现最小化 FL 损失函数的最优用户选择和上行资源块分配。

    Sep, 2019

  • 量化全局模型更新的联邦学习

    本文提出一种基于压缩全局模型的损失型联邦学习算法（LFL），该算法相对于完全无损方法，使用较少的通信资源来实现相同的收敛性。

    Jun, 2020

  • 基于量化的分层联邦学习：收敛分析与系统设计

    本文针对分层联邦学习问题，引入神经网络量化，提出了一种更加严格的收敛界限，优化客户端和边缘云多级聚合策略，同时借助仿真结果验证了策略的有效性。

    Mar, 2021