MMNov, 2021

联邦边缘学习的优化框架

PDF
TL;DR本文着重于边缘计算系统中的联邦学习及其参数优化方法，提出了一种参数化的通用联邦学习（GenQSGD）算法，并通过优化全局和本地迭代次数、小批量大小和步骤大小序列等算法参数，以最小化能量成本，并针对预设步长序列的应用优化全局和本地迭代次数、小批量大小和步骤大小序列。数值实验表明，该算法可以显著提高联邦学习的性能。
federated learningedge computingquantizationenergy cost optimizationalgorithm parameters
发现论文，激发创造
  • 基于优化的通用边缘计算系统量化联邦学习

    本文提出了一种基于优化的量化联邦学习算法 GQFedWAvg，该算法可适用于具有统一或不统一计算和通信资源的一般边缘计算系统，并采用多种技巧，如随机量化与加权平均局部模型更新等，以最小化收敛误差，从而实现在时间和能量约束下的算法优化。

    Jun, 2023

  • 基于量化的分层联邦学习：收敛分析与系统设计

    本文针对分层联邦学习问题，引入神经网络量化，提出了一种更加严格的收敛界限，优化客户端和边缘云多级聚合策略，同时借助仿真结果验证了策略的有效性。

    Mar, 2021

  • 无线量化联邦学习：一种联合计算和通信设计

    本文旨在通过在上传之前对本地模型参数进行量化，最小化联邦学习的总收敛时间，以保证在所有全局轮次中的最小收敛时间。我们利用随机量化对 FL 算法的收敛性进行了收敛分析，同时综合优化了计算，通讯资源和量化比特数，以保证在所有全局轮次中的最小收敛时间，同时满足能源和量化误差的要求。我们对量化误差对收敛时间的影响进行了评估，并揭示了模型准确性与及时执行之间的平衡。此外，所提出的方法被证明与基线方案相比，可以加速收敛速度，并为量化误差容忍度的选择提供有用的见解。

    Mar, 2022

  • 量化全局模型更新的联邦学习

    本文提出一种基于压缩全局模型的损失型联邦学习算法（LFL），该算法相对于完全无损方法，使用较少的通信资源来实现相同的收敛性。

    Jun, 2020

  • 具有理论保证的联邦学习随机符号 SGD

    本研究提出一种基于 SIGNSGD 的方法：Stochastic-Sign SGD，它利用新颖的随机符号梯度压缩器，在分布式学习中具有收敛性、通信效率、差分隐私以及拜占庭容错等特性，并在 MNIST 和 CIFAR-10 数据集下的深度神经网络上进行了广泛的实验验证。

    Feb, 2020

  • 基于无线网络的绿色量化联邦学习：一种节能设计

    本研究探讨了一种基于定点神经网络的低能耗联邦学习框架，通过使用多目标优化策略和 Nash 协商解来平衡数据的精度和能耗之间的取舍，从而实现在收敛速度和能耗上的双重收益。模拟结果表明，该方法能够将能耗降低 70%，收敛速度不受影响。

    Jul, 2022

  • 高维随机梯度量化用于通信高效边缘学习

    本文提出了一种基于分层随机梯度量化的边缘机器学习框架，并研究了其对学习性能的影响，包括量化误差和通信开销的降低。该方案采用了分层结构和基于矢量的量化，同时引入了一个位分配方式来保证量化精度，该方案能够在保证学习准确性的前提下显著减少通信开销。

    Oct, 2019

  • 个性化联邦学习与通信压缩

    本文提出通过在个体边缘设备上训练个性化模型以取代传统机器学习模型，以解决数据异质性带来的问题，并对新算法 Loopless Gradient Descent 进行了压缩优化，实验结果表明该算法比其他基于压缩的算法运行效率更高且收敛速度不低于 vanilla SGD。

    Sep, 2022

  • 基于量化 Langevin 随机动力学的贝叶斯联邦学习

    本文讨论了在联邦学习框架下，通过提出一种新的联邦马尔科夫链蒙特卡罗算法（Quantised Langevin Stochastic Dynamics），并结合梯度压缩和方差缩减技术，优化了性能。给出了该算法的收敛性保证并应用于多种贝叶斯联邦学习基准测试中。

    Jun, 2021

  • QMGeo：基于混合截断几何分布的随机量化差分隐私联邦学习

    本文提出了一种新颖的随机量化方法，利用混合几何分布引入所需的随机性，以提供差分隐私，而不引入任何附加噪声，并通过收敛分析和实证研究了该方法的性能。

    Dec, 2023