FedConv: 强化卷积神经网络用于处理联邦学习中的数据异质性

Oct, 2023

FedConv: 强化卷积神经网络用于处理联邦学习中的数据异质性

FedConv: Enhancing Convolutional Neural Networks for Handling Data Heterogeneity in Federated Learning

Peiran Xu, Zeyu Wang, Jieru Mei, Liangqiong Qu, Alan Yuille...

TL;DR本文系统地研究了不同建筑元素，如激活函数和标准化层，对异构联邦学习中的性能的影响，并提供了关于异构联邦学习微体系结构设计原则的指导，发现纯 CNN 在处理异构数据客户端时，通过战略性的架构修改能够达到与 Vision Transformer 相匹配甚至超越其在鲁棒性方面的表现，并且该方法与现有的联邦学习技术兼容，在联邦学习基准测试中提供了最先进的解决方案。

Abstract

federated learning (FL) is an emerging paradigm in machine learning, where a shared model is collaboratively learned using data from multiple devices to mitigate the risk of data leakage. While recent studies posit that Vision Transformer (ViT) outperforms →

federated learning vision transformer convolutional neural networks data heterogeneity micro-architecture design

发现论文，激发创造

通过架构设计处理联邦视觉识别中的数据异构性

联邦学习是一种有前途的研究范式，可以在各方之间进行机器学习模型的协作训练，而无需进行敏感信息交换。本研究对应用于视觉识别的联邦学习进行了广泛的回顾，强调深思熟虑的架构设计选择在实现最佳性能方面的重要作用。通过对各种先进架构的深入分析，我们实验证明了架构选择可以显著提高联邦学习系统的性能，尤其是在处理异构数据时。同时，我们研究了来自五个不同架构系列的 19 个视觉识别模型在四个具有挑战性的联邦学习数据集上的性能，重新调查了卷积架构在联邦学习环境中的劣势表现，并分析了规范化层对联邦学习性能的影响。我们的研究结果强调了在实际场景中的计算机视觉任务中架构设计的重要性，有效地缩小了联邦学习和集中学习之间的性能差距。

Oct, 2023

具有卷积和脉冲神经网络的异构联邦学习

通过比较不同的数据聚合方法，本文对包含传统人工神经网络（ANNs）和脉冲神经网络（SNNs）的联邦学习系统进行了评估，实验结果表明 CNN-SNN 融合框架在 MNIST 数据集上表现最好，并发现了多模型联邦学习收敛过程中的竞争抑制现象。

Jun, 2024

面向联邦学习的数据异构化处理架构设计思考

本文提出使用自注意力机制的神经网络模型（如 Transformer），替代传统的卷积神经网络模型，以改进联邦学习中的模型性能和稳定性，尤其当处理异构数据的时候，可以大大降低模型遗忘和加快模型学习收敛速度。

Jun, 2021

异构数据感知联邦学习

本研究提出一种新方法来解决联邦学习中的问题，并在本文所述的公开基准数据集（如 Femnist）以及自己收集的数据集（即流量分类）上验证了该方法的有效性，结果表明这种方法在极端情况下具有显著的优势。

Nov, 2020

面向计算受限异构设备的联邦学习：综述

随着越来越多的物联网设备在现场部署，将神经网络的训练卸载到中央服务器变得越来越不可行，本文调查了联合学习在克服异构性挑战方面的应用和益处。

Jul, 2023

增强大规模异质联邦学习的展望与转换器

分布式数据合作的联邦学习旨在解决数据隐私问题，该研究通过比较实验证明基于 Transformer 的联邦学习模型在大规模异构任务中具有泛化和个性化方面的优势。

Aug, 2023

使用图形超网络进行异构架构的联邦学习

提出了一个新的标准联邦学习 (FL) 框架，该框架通过采用图形超网络进行参数共享，适应了异构客户端架构的需求，并在标准基准测试中表现显着优于现有解决方案。

Jan, 2022

OnDev-LCT: 面向联合学习的设备本地轻量级卷积变换器

提出了 OnDev-LCT：适用于具有有限训练数据和资源的设备上的轻量级卷积变换器，该模型通过利用残差线性瓶颈块中的高效深度可分离卷积来提取局部特征，并通过 LCT 编码器中的多头自注意机制隐式地捕获图像的全局表示。大量基准图像数据集上的实验证明，我们的模型在拥有更少参数和更低计算需求的同时，优于现有的轻量级视觉模型，适用于具有数据异质性和通信瓶颈的 FL 场景。

Jan, 2024

计算机视觉的联邦学习

该论文综述了联邦学习在计算机视觉应用中的最新进展，比较了联邦学习和传统集中式训练方法，提出了一个联邦学习在计算机视觉中的技术分类和应用安全威胁的分类，讨论了实施区块链在计算机视觉中的隐私关注，并总结了现有的隐私保护方法，同时指出了未来的研究方向。

Aug, 2023

纵向联邦图像分割

提出了一种创新的垂直联邦学习 (VFL) 模型架构，能够在常见情况下进行操作。通过利用一个能够处理缺少标记数据的联邦状况的 FCN, 以及与承载分类所需特征的中央服务器私密共享权重的方式，实现图像分割并保持准确性。在 CamVid 数据集上进行了测试，以确定在联邦之间传输信息所需的特征压缩的影响，并在此类约束条件下对整体性能指标作出合理的结论。

Jan, 2024