ICMLJun, 2022

系统异构下的联邦图像分类的超网络训练

PDF
TL;DR本文介绍了一个同时考虑全球模型改进和系统异构性及数据异构性的多设备上深神经网络的高效部署的联邦学习框架 FedSup，该框架结合了数据异构性和超网络训练中的不同步骤来减少通信成本和提高训练效率，通过在标准基准测试上验证，确保了数据和模型的异构性和鲁棒性。
deep neural networksedge devicesfederated learningneural architecture searchsupernet training
发现论文，激发创造
  • 面向计算受限异构设备的联邦学习：综述

    随着越来越多的物联网设备在现场部署，将神经网络的训练卸载到中央服务器变得越来越不可行，本文调查了联合学习在克服异构性挑战方面的应用和益处。

    Jul, 2023

  • 使用图形超网络进行异构架构的联邦学习

    提出了一个新的标准联邦学习 (FL) 框架，该框架通过采用图形超网络进行参数共享，适应了异构客户端架构的需求，并在标准基准测试中表现显着优于现有解决方案。

    Jan, 2022

  • FedHeN: 异构网络中的联邦学习

    本文提出了一种新的联邦学习训练配方，适用于具有不同架构的异构网络，采用一种副目标训练较复杂设备的架构以在联邦设置下共同训练不同的架构，实证表明我们的方法提高了不同架构的性能并节省了通信成本。

    Jul, 2022

  • 异构数据感知联邦学习

    本研究提出一种新方法来解决联邦学习中的问题，并在本文所述的公开基准数据集（如 Femnist）以及自己收集的数据集（即流量分类）上验证了该方法的有效性，结果表明这种方法在极端情况下具有显著的优势。

    Nov, 2020

  • FedHiSyn: 面向资源和数据异构的分层同步联邦学习框架

    本文提供了一种基于异步联邦学习的分层同步 FL 框架：FedHiSyn，首先将设备基于其计算能力分成少量的几类，然后在这些类别中通过同步更新和设备间通信相结合的方式解决了异质性数据和呆滞时间等问题，实验结果表明在精度与效率方面的表现均优于其他六种基线方法。

    Jun, 2022

  • 异构集成知识迁移用于联邦学习中的大模型训练

    本研究提出了一种新的合奏知识转移方法 Fed-ET，采用了加权一致性蒸馏方案，通过利用各服务器的高度异构数据来提取可靠的共识，同时通过利用合奏中的多样性来改善泛化能力，并在图像和语言任务中显示出在通信参数较少的情况下，Fed-ET 明显优于其他最先进的 FL 算法，并且对于高数据异构性也是强健的。

    Apr, 2022

  • 具有卷积和脉冲神经网络的异构联邦学习

    通过比较不同的数据聚合方法，本文对包含传统人工神经网络（ANNs）和脉冲神经网络（SNNs）的联邦学习系统进行了评估，实验结果表明 CNN-SNN 融合框架在 MNIST 数据集上表现最好，并发现了多模型联邦学习收敛过程中的竞争抑制现象。

    Jun, 2024

  • 在个性化层上进行联合学习

    本文介绍了 FedPer，一种基本 + 个性化层式的联邦深度前馈神经网络训练方法，旨在对抗数据异质性的负面影响，提升联邦学习的训练效果。FedPer 的有效性在 CIFAR 数据集和 Flickr 个性化图像美学数据集上得到了证明。

    Dec, 2019

  • 异构客户端的联邦自监督学习

    提出了一种名为 Heterogeneous Self-supervised Federated Learning（Hetero-SSFL）的统一框架，可以在异构客户端上进行协作表示学习，同时解决了系统异质性和标记数据匮乏等问题，并在非凸目标的异构性设置中提供了收敛保证，而且比现有方法表现更佳。

    May, 2022

  • 异构网络中的联邦优化

    本研究介绍了 FedProx 框架，用于解决联合学习网络中异构性的问题，并提供了实现更稳健收敛的收敛保证和效果验证。

    Dec, 2018