AAAIDec, 2020

联邦块坐标下降方案用于学习全局和个性化模型

PDF
TL;DR文章提出了一种二次罚函数公式，用于训练全局模型并允许个性化本地模型，并且通过采用分层结构建模云和边缘设备之间的通信（同时也适用于云内部的通信），解决了边缘设备异构训练时间引起的延迟问题。理论与实验都证实，这种系统可以更快地收敛于在边缘设备上个性化模型进行训练，比现有技术更优秀。
federated learningpersonalized modelsedge deviceshierarchical structurelatency
发现论文，激发创造
  • 分布式个性化在线联邦学习

    我们提出了一个新的去中心化个性化在线联邦学习设置，用于在在线环境中学习，在每个客户端上学习个性化模型，并在去中心化环境中学习。我们解决了两个技术挑战：如何通过优化本地模型的性能来聚合来自邻近客户端的共享模型参数，并通过学习的聚合权重选择最有帮助的邻居减少通信成本。

    Nov, 2023

  • 资源受限边缘计算系统中的自适应联邦学习

    本文主要研究在边缘计算环境中使用分布式梯度下降学习模型参数的问题，提出控制算法以最小化给定资源预算下的损失函数，并通过真实数据集的大量实验评估算法性能。

    Apr, 2018

  • 用于普适计算的联邦学习聚合算法：评估和比较

    本文探讨了如何应对异构设备和用户的挑战，提出了一种新型的聚合算法 FedDist，该算法能够考虑到客户端的差异性而不影响泛化能力，并在人类活动识别普适领域上通过对比测试发现其表现更好。

    Oct, 2021

  • 无线网络联合学习：有限带宽协调下降方法

    本研究考虑了一种基于无线边缘网络的多对一联合学习架构，并提出了基于 SGD 的带限制坐标下降算法以适应无线通信资源。研究者还通过联合优化功率分配和学习速率以减少通信误差，并发现跨不同子载波的最佳功率分配应同时考虑梯度值和信道条件。最后，他们提出了一些可行的分布式解决方案来对该问题进行优化。

    Feb, 2021

  • 通过无线计算进行联邦学习

    提出了一种基于超过空气计算的方法，探索了无线多接入通道的叠加属性，用于边缘机器学习中的快速全局模型聚合。

    Dec, 2018

  • 在无线联合边缘学习系统中加速 DNN 训练

    研究节约时间、资源、保隐私的联邦边缘学习架构系统，通过 CPU 和 GPU 场景的联合批大小选取和通信资源分配，来缩短训练时间并提高训练准确性。

    May, 2019

  • FedHB：分层贝叶斯联邦学习

    提出了一个新的基于层次贝叶斯方法的联邦学习的优化算法，该算法可以不泄露任何的私有数据，并且具有通用的收敛性和泛化性能。

    May, 2023

  • 编码联邦学习

    本研究提出了一种编码联邦学习方法，解决了异构计算平台上 (如无线边缘) 的迟滞计算和通信以及时模型更新的问题，并通过预计算冗余渐变来加速全局模型收敛达四倍以上。

    Feb, 2020

  • 面向分布式特征的通信高效的协作学习框架

    提出一种协作学习框架，允许多方共同构建模型而不暴露其原始数据或模型参数，并通过 Federated Stochastic Block Coordinate Descent 算法来减少通信轮数，该方法在各种任务和数据集上得到了验证。

    Dec, 2019

  • 异构联邦学习中基于对比的云边模型解耦的最优定制架构

    通过模型解耦和利用基于 Wasserstein 的层选择方法，我们提出了一种新颖的联邦学习框架（FedCMD），用于云边缘支持的联邦学习，该框架将深度神经网络分解为云端共享表示的主体和迁移数据异质性的个性化部分。大量实验表明，与九个最先进的解决方案相比，我们的解决方案在十个基准测试中表现出高效性和卓越的性能。

    Mar, 2024