Mar, 2022

无线量化联邦学习：一种联合计算和通信设计

PDF
TL;DR本文旨在通过在上传之前对本地模型参数进行量化，最小化联邦学习的总收敛时间，以保证在所有全局轮次中的最小收敛时间。我们利用随机量化对 FL 算法的收敛性进行了收敛分析，同时综合优化了计算，通讯资源和量化比特数，以保证在所有全局轮次中的最小收敛时间，同时满足能源和量化误差的要求。我们对量化误差对收敛时间的影响进行了评估，并揭示了模型准确性与及时执行之间的平衡。此外，所提出的方法被证明与基线方案相比，可以加速收敛速度，并为量化误差容忍度的选择提供有用的见解。
federated learningquantizationconvergence timewireless networksprivacy
发现论文，激发创造
  • 联邦学习上行和下行通信的设计与分析

    本文重点研究了有关物理层量化和传输方法在无线联邦学习中的设计和分析，并通过实验评估了 FL 定制上行和下行通信设计的巨大优势，其中包括 1 位量化（浮点基线带宽的 3.1％）在 MNIST 上实现了 99.8％的浮点基线准确度，代表着作者所知的最佳带宽 - 准确度平衡。

    Dec, 2020

  • FedAQ: 基于上下行自适应量化的通信高效联邦边缘学习

    通过使用量化的综合方法，联合上下行适应性量化以减少通信开销，我们优化了学习收敛性，并通过确定最优的上行和下行量化位数进行了通信能量约束。实验结果表明，所提出的联合上行和下行适应性量化策略与现有方案相比，能够节省高达 66.7% 的能量。

    Jun, 2024

  • 基于无线网络的绿色量化联邦学习：一种节能设计

    本研究探讨了一种基于定点神经网络的低能耗联邦学习框架，通过使用多目标优化策略和 Nash 协商解来平衡数据的精度和能耗之间的取舍，从而实现在收敛速度和能耗上的双重收益。模拟结果表明，该方法能够将能耗降低 70%，收敛速度不受影响。

    Jul, 2022

  • 量化全局模型更新的联邦学习

    本文提出一种基于压缩全局模型的损失型联邦学习算法（LFL），该算法相对于完全无损方法，使用较少的通信资源来实现相同的收敛性。

    Jun, 2020

  • 联合学习和通信框架用于无线网络联邦学习

    研究了在现实无线网络上训练联邦学习算法的问题，提出了一种联合学习、无线资源分配和用户选择的优化问题，并获得了期望收敛速率的闭式表达式，从而实现最小化 FL 损失函数的最优用户选择和上行资源块分配。

    Sep, 2019

  • 无线网络上高效计算与通信的联邦学习

    通过将学习模型分为全局部分和个性化部分，以实现模型剪枝和个性化，本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架，并通过数学分析研究了其收敛性、计算和通信延迟，并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明，相比只进行模型个性化的方案，该框架能够显著减少约 50％的计算和通信延迟。

    Sep, 2023

  • 基于量化的分层联邦学习：收敛分析与系统设计

    本文针对分层联邦学习问题，引入神经网络量化，提出了一种更加严格的收敛界限，优化客户端和边缘云多级聚合策略，同时借助仿真结果验证了策略的有效性。

    Mar, 2021

  • 基于联合权重量化和无线传输的异构移动设备能效联邦学习

    本文旨在将联邦学习引入未来无线网络的设计中，为了在移动设备上进行能源高效的联邦学习提出了一种新颖的无线传输和权重量化的联合设计方法。通过建立混合整数规划问题，制定了灵活的权重量化计划，以最小化所有移动设备的联邦学习总能耗（计算 + 传输），同时保证模型性能和训练延迟。通过大量的模拟实验，验证了该方案的有效性。

    Dec, 2020

  • 无线通信网络上的能效联邦学习

    研究了基于无线通信网络的联邦学习中的能源有效传输和计算资源分配问题，并提出了一种迭代算法，以解决此优化问题，并通过数值结果表明了该算法相对于传统 FL 方法可将能源消耗降低高达 59.5％。

    Nov, 2019

  • 无线通信网络上联邦学习的延迟最小化

    本文研究了无线通信网络上联邦学习中的延迟最小化问题，提出了一种基于二分搜索算法的优化方案，模拟实验表明所提出的算法相比传统的联邦学习方法可以将延迟降低了 27.3%。

    Jul, 2020