通过架构设计处理联邦视觉识别中的数据异构性

Oct, 2023

通过架构设计处理联邦视觉识别中的数据异构性

Handling Data Heterogeneity via Architectural Design for Federated Visual Recognition

Sara Pieri, Jose Renato Restom, Samuel Horvath, Hisham Cholakkal

TL;DR联邦学习是一种有前途的研究范式，可以在各方之间进行机器学习模型的协作训练，而无需进行敏感信息交换。本研究对应用于视觉识别的联邦学习进行了广泛的回顾，强调深思熟虑的架构设计选择在实现最佳性能方面的重要作用。通过对各种先进架构的深入分析，我们实验证明了架构选择可以显著提高联邦学习系统的性能，尤其是在处理异构数据时。同时，我们研究了来自五个不同架构系列的 19 个视觉识别模型在四个具有挑战性的联邦学习数据集上的性能，重新调查了卷积架构在联邦学习环境中的劣势表现，并分析了规范化层对联邦学习性能的影响。我们的研究结果强调了在实际场景中的计算机视觉任务中架构设计的重要性，有效地缩小了联邦学习和集中学习之间的性能差距。

Abstract

federated learning (FL) is a promising research paradigm that enables the collaborative training of machine learning models among various parties without the need for sensitive information exchange. Nonetheless, retaining data in individual clients introduces fundamental challenges to

federated learning visual recognition architectural design choices performance heterogeneous data

发现论文，激发创造

FedConv: 强化卷积神经网络用于处理联邦学习中的数据异质性

本文系统地研究了不同建筑元素，如激活函数和标准化层，对异构联邦学习中的性能的影响，并提供了关于异构联邦学习微体系结构设计原则的指导，发现纯 CNN 在处理异构数据客户端时，通过战略性的架构修改能够达到与 Vision Transformer 相匹配甚至超越其在鲁棒性方面的表现，并且该方法与现有的联邦学习技术兼容，在联邦学习基准测试中提供了最先进的解决方案。

Oct, 2023

面向联邦学习的数据异构化处理架构设计思考

本文提出使用自注意力机制的神经网络模型（如 Transformer），替代传统的卷积神经网络模型，以改进联邦学习中的模型性能和稳定性，尤其当处理异构数据的时候，可以大大降低模型遗忘和加快模型学习收敛速度。

Jun, 2021

使用图形超网络进行异构架构的联邦学习

提出了一个新的标准联邦学习 (FL) 框架，该框架通过采用图形超网络进行参数共享，适应了异构客户端架构的需求，并在标准基准测试中表现显着优于现有解决方案。

Jan, 2022

异构数据感知联邦学习

本研究提出一种新方法来解决联邦学习中的问题，并在本文所述的公开基准数据集（如 Femnist）以及自己收集的数据集（即流量分类）上验证了该方法的有效性，结果表明这种方法在极端情况下具有显著的优势。

Nov, 2020

H-FL：面向联邦学习的分层通信高效和隐私保护体系结构

本文提出了一种名为分层联邦学习（H-FL）的新框架，通过运行时分布重构策略，利用中介将客户端重新分配并重新安排客户端的本地训练，设计了一种压缩校正机制，同时不牺牲模型性能，降低通信开销，引入局部训练的差分隐私，注入适量的噪声到完整模型的一部分中，从而提供隐私保障，在真实的图像识别任务的不同数据集上实验结果表明，我们的 H-FL 框架实现了最先进的性能。

Jun, 2021

异构联邦学习：现状与研究挑战

通过对异构联邦学习中的研究挑战和最新方法的概述，提出了一种新的现有方法分类法，并讨论了异构联邦学习的关键和具有潜力的未来研究方向。

Jul, 2023

纵向联邦图像分割

提出了一种创新的垂直联邦学习 (VFL) 模型架构，能够在常见情况下进行操作。通过利用一个能够处理缺少标记数据的联邦状况的 FCN, 以及与承载分类所需特征的中央服务器私密共享权重的方式，实现图像分割并保持准确性。在 CamVid 数据集上进行了测试，以确定在联邦之间传输信息所需的特征压缩的影响，并在此类约束条件下对整体性能指标作出合理的结论。

Jan, 2024

具有灵活架构的联合学习

传统的联邦学习方法对计算和通信能力不同的客户端的支持有限，导致模型训练的低效和潜在的不准确性。本文引入了具有灵活架构的联邦学习算法（FedFA），允许客户端选择适合其资源的网络架构，通过层嫁接技术和可扩展聚合方法，实现了客户端贡献的统一集成和对抗性能降低的增强。

Jun, 2024

计算机视觉的联邦学习

该论文综述了联邦学习在计算机视觉应用中的最新进展，比较了联邦学习和传统集中式训练方法，提出了一个联邦学习在计算机视觉中的技术分类和应用安全威胁的分类，讨论了实施区块链在计算机视觉中的隐私关注，并总结了现有的隐私保护方法，同时指出了未来的研究方向。

Aug, 2023

联邦学习的进展：模型、方法和隐私

本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题，提出了一种更加通用的算法设计框架、攻击场景和防御方法，致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。

Feb, 2023