Oct, 2023

ECAvg: 基于平均权重的边缘云协作学习方法

PDF
TL;DR边缘设备与云的使用形成了一种协作关系，相互补充对方的缺点；在本文中，我们提出了一种称为 ECAvg 的协作边缘 - 云范式，在其中边缘设备对其各自的数据集进行预训练，并将模型传输到服务器进行调优；服务器将已预训练的权重平均成一个全局模型，并对各个边缘设备的数据进行调优；最后，边缘模型使用全局模型的权重进行更新。实验结果表明，我们的方法可以成功地在深度神经网络（如 MobileNetV2 和 ResNet50）上实现，而不是简单的神经网络。
发现论文，激发创造
  • 最优模型平均化：走向个性化协作学习

    本文研究了加权模型平均对任意标量均值估计问题的影响，发现加权平均模型可以减少局部模型的期望平方误差，并量化了加权模型平均的（可能为负的）益处。这项研究正式确定了一种量化协作学习个性化价值的方法，并为未来多元参数估计和基于一系列假设的检验研究提供了框架。

    Oct, 2021

  • 基于联邦和集中特征的边缘云协同学习

    本研究提出了一种名为 ECCT 的边缘云协作知识传递框架，可在边缘和云之间进行双向知识传输，共享特征嵌入和预测。实验表明，ECCT 在提高个性化，允许模型异构性，容忍异步训练和减轻通信负担等方面具有潜在的学术和行业用途。

    Apr, 2023

  • 多数据中心协作深度学习

    本文讨论了如何在分布式环境下利用模型平均策略进行深度学习的训练，提出了采用循环学习率和增加本地模型训练轮数两种策略的方法，并在实验中证明了该方法在多个数据中心下具有竞争性的性能。

    Oct, 2018

  • 通过无线计算进行联邦学习

    提出了一种基于超过空气计算的方法，探索了无线多接入通道的叠加属性，用于边缘机器学习中的快速全局模型聚合。

    Dec, 2018

  • WeiAvg: 促进数据多样性的联邦学习模型聚合

    本文提出了一种新颖方法 - WeiAvg，利用投影估计方法来估计客户端数据的多样性，从高多样性客户端强调权重更新，减少低多样性客户端的影响，实验结果证明 WeiAvg 优于原始的 FedAvg 算法和 FedProx，能更快、更准确的达到收敛。

    May, 2023

  • 面向协作智能友好的深度学习架构

    本文提出了一种新的协作智能友好型架构，通过将移动设备上计算的中间特征卸载到云端以降低需要发送到云端的数据量，使得在 ResNet-50 模型上，相比现有的云端计算方法，端到端延迟和移动能耗分别平均提高了 53 倍和 68 倍，而精度损失不到 2%。

    Feb, 2019

  • 联邦学习聚合：具有保证的新的鲁棒算法

    该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

    May, 2022

  • 基于协作边缘计算的无线网络大规模人工智能模型实施

    在这篇文章中，我们提出了协作边缘训练这一新的训练机制，利用可信的边缘设备作为资源池来加速边缘的可持续大型人工智能模型训练，并分析了该系统的优点和可持续调度选择以及对能源需求的实证研究，同时讨论了可持续协作边缘训练面临的挑战和未来发展方向。

    Apr, 2024

  • 利用联邦学习进行工业物联网边缘设备网络的无监督异常检测

    通过使用联邦学习方法中的 Fedavg 算法解决了物联网设备中涉及的隐私问题，并提出了一个公平的 Fedavg 算法以解决在训练过程中出现的不公平问题。

    Aug, 2023

  • 平均权重导致更宽的随机局部极小值和更好的泛化

    通过在 SGD 轨迹上抽样多个点进行简单平均，Stochastic Weight Averaging（SWA）过程实现了比传统训练更好的泛化，SWA 获得了 CIFAR-10、CIFAR-100 和 ImageNet 上多个最先进网络的显着测试精度提高，而且 SWA 实现简单、无几乎不需要计算成本。

    Mar, 2018