具有卷积和脉冲神经网络的异构联邦学习

IJCAIJun, 2024

具有卷积和脉冲神经网络的异构联邦学习

Heterogeneous Federated Learning with Convolutional and Spiking Neural Networks

Yingchao Yu, Yuping Yan, Jisong Cai, Yaochu Jin

TL;DR通过比较不同的数据聚合方法，本文对包含传统人工神经网络（ANNs）和脉冲神经网络（SNNs）的联邦学习系统进行了评估，实验结果表明 CNN-SNN 融合框架在 MNIST 数据集上表现最好，并发现了多模型联邦学习收敛过程中的竞争抑制现象。

Abstract

federated learning (FL) has emerged as a promising paradigm for training models on decentralized data while safeguarding data privacy. Most existing FL systems, however, assume that all machine learning models are of the same type, although it becomes more likely that different

federated learning edge devices artificial neural networks spiking neural networks aggregation approaches

发现论文，激发创造

面向低功耗边缘智能的脉冲神经网络联邦神经形态学学习

通过引入在线联邦学习，提出了一种基于 SNN 的在线联邦学习规则，称为 FL-SNN，通过局部和全局反馈信号实现协作训练，从而解决了有限数据的问题，并在通信负载和准确度之间实现了灵活的权衡。

Oct, 2019

脉冲神经网络联邦学习

本研究提出了一个分散的、保护隐私的 Spiking Neural Networks 训练框架，在 CIFAR10 和 CIFAR100 基准测试中，我们发现在联邦学习的大规模客户端下，相较于人工神经网络，Spiking Neural Networks 能够提供超过 15% 的总体准确性并达到多达 5.3 倍的能源效率。

Jun, 2021

面向计算受限异构设备的联邦学习：综述

随着越来越多的物联网设备在现场部署，将神经网络的训练卸载到中央服务器变得越来越不可行，本文调查了联合学习在克服异构性挑战方面的应用和益处。

Jul, 2023

FedConv: 强化卷积神经网络用于处理联邦学习中的数据异质性

本文系统地研究了不同建筑元素，如激活函数和标准化层，对异构联邦学习中的性能的影响，并提供了关于异构联邦学习微体系结构设计原则的指导，发现纯 CNN 在处理异构数据客户端时，通过战略性的架构修改能够达到与 Vision Transformer 相匹配甚至超越其在鲁棒性方面的表现，并且该方法与现有的联邦学习技术兼容，在联邦学习基准测试中提供了最先进的解决方案。

Oct, 2023

异构数据感知联邦学习

本研究提出一种新方法来解决联邦学习中的问题，并在本文所述的公开基准数据集（如 Femnist）以及自己收集的数据集（即流量分类）上验证了该方法的有效性，结果表明这种方法在极端情况下具有显著的优势。

Nov, 2020

无线通信网络中加速的分裂式联邦学习

本文介绍了一种模型分区 / 切割的方法，将深度神经网络切分为两个部分，分别在设备和服务器上进行联合训练和联合推理，旨在通过交替优化解决划分点选择和带宽分配问题，以最小化系统的延迟

Oct, 2023

异构设备上的异步联邦学习：综述

该研究基于一项新的分类机制，综合分析和总结了现有各种异步 FL 范式，包括异构设备上的设备异构性、数据异构性、隐私和安全性，以及异构设备上的应用。该研究揭示了该领域面临的挑战并提出了潜在的研究方向。

Sep, 2021

通过架构设计处理联邦视觉识别中的数据异构性

联邦学习是一种有前途的研究范式，可以在各方之间进行机器学习模型的协作训练，而无需进行敏感信息交换。本研究对应用于视觉识别的联邦学习进行了广泛的回顾，强调深思熟虑的架构设计选择在实现最佳性能方面的重要作用。通过对各种先进架构的深入分析，我们实验证明了架构选择可以显著提高联邦学习系统的性能，尤其是在处理异构数据时。同时，我们研究了来自五个不同架构系列的 19 个视觉识别模型在四个具有挑战性的联邦学习数据集上的性能，重新调查了卷积架构在联邦学习环境中的劣势表现，并分析了规范化层对联邦学习性能的影响。我们的研究结果强调了在实际场景中的计算机视觉任务中架构设计的重要性，有效地缩小了联邦学习和集中学习之间的性能差距。

Oct, 2023

FedGraphNN：图神经网络联邦学习系统和基准

本研究介绍 FedGraphNN，一个用于解决中心化实际世界图形数据训练 GNN 所面临的隐私问题的开放式分布式学习平台，涵盖各种数据集，流行的 GNN 模型以及 FL 算法，维护源代码的统一公式和安全高效的系统支持。

Apr, 2021

面向异构边缘 / 雾网络的协作联邦学习

提出一种合作的边缘 / 雾设备机器学习范例 — 合作联邦学习 (CFL)，通过设备之间和设备与服务器之间的协作，实现模型 / 数据 / 资源池化机制，以解决边缘 / 雾网络中网络异构性问题，提高机器学习模型的质量和网络此消耗。同时，该范例还支持无标签数据和异构设备隐私等新功能。

Mar, 2023