面向联邦学习的数据异构化处理架构设计思考

CVPRJun, 2021

面向联邦学习的数据异构化处理架构设计思考

Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning

Liangqiong Qu, Yuyin Zhou, Paul Pu Liang, Yingda Xia, Feifei Wang...

TL;DR本文提出使用自注意力机制的神经网络模型（如 Transformer），替代传统的卷积神经网络模型，以改进联邦学习中的模型性能和稳定性，尤其当处理异构数据的时候，可以大大降低模型遗忘和加快模型学习收敛速度。

Abstract

federated learning is an emerging research paradigm enabling collaborative training of machine learning models among different organizations while keeping data private at each institution. Despite recent progress

federated learning machine learning models self-attention-based architectures transformers heterogeneous data

发现论文，激发创造

通过架构设计处理联邦视觉识别中的数据异构性

联邦学习是一种有前途的研究范式，可以在各方之间进行机器学习模型的协作训练，而无需进行敏感信息交换。本研究对应用于视觉识别的联邦学习进行了广泛的回顾，强调深思熟虑的架构设计选择在实现最佳性能方面的重要作用。通过对各种先进架构的深入分析，我们实验证明了架构选择可以显著提高联邦学习系统的性能，尤其是在处理异构数据时。同时，我们研究了来自五个不同架构系列的 19 个视觉识别模型在四个具有挑战性的联邦学习数据集上的性能，重新调查了卷积架构在联邦学习环境中的劣势表现，并分析了规范化层对联邦学习性能的影响。我们的研究结果强调了在实际场景中的计算机视觉任务中架构设计的重要性，有效地缩小了联邦学习和集中学习之间的性能差距。

Oct, 2023

FedHeN: 异构网络中的联邦学习

本文提出了一种新的联邦学习训练配方，适用于具有不同架构的异构网络，采用一种副目标训练较复杂设备的架构以在联邦设置下共同训练不同的架构，实证表明我们的方法提高了不同架构的性能并节省了通信成本。

Jul, 2022

增强大规模异质联邦学习的展望与转换器

分布式数据合作的联邦学习旨在解决数据隐私问题，该研究通过比较实验证明基于 Transformer 的联邦学习模型在大规模异构任务中具有泛化和个性化方面的优势。

Aug, 2023

异构恢复性联邦学习的架构蓝图

本文提出了一种新颖的三层体系结构，用于优化边缘计算环境下的联邦学习。所提出的体系结构解决了客户数据异质性和计算约束所带来的挑战。它引入了一个可扩展的、隐私保护的框架，提高了分布式机器学习的效率。通过实验，本文证明了该体系结构比传统的联邦学习模型更有效地处理非独立同分布的数据集。此外，本文还强调了这种创新方法提高模型准确性、减少通信开销和促进联邦学习技术更广泛应用的潜力。

Mar, 2024

FedConv: 强化卷积神经网络用于处理联邦学习中的数据异质性

本文系统地研究了不同建筑元素，如激活函数和标准化层，对异构联邦学习中的性能的影响，并提供了关于异构联邦学习微体系结构设计原则的指导，发现纯 CNN 在处理异构数据客户端时，通过战略性的架构修改能够达到与 Vision Transformer 相匹配甚至超越其在鲁棒性方面的表现，并且该方法与现有的联邦学习技术兼容，在联邦学习基准测试中提供了最先进的解决方案。

Oct, 2023

使用图形超网络进行异构架构的联邦学习

提出了一个新的标准联邦学习 (FL) 框架，该框架通过采用图形超网络进行参数共享，适应了异构客户端架构的需求，并在标准基准测试中表现显着优于现有解决方案。

Jan, 2022

稳健联邦学习的进展：异质性考虑

异构联邦学习领域中，关键挑战是在具有不同数据分布、模型结构、任务目标、计算能力和通信资源的多个客户端之间高效协作训练模型。本文首先概述了异构联邦学习的基本概念，并从数据、模型、任务、设备和通信五个方面总结了在联邦学习中的研究挑战。此外，我们探讨了现有最先进的方法如何应对异构联邦学习的异质性，并将这些方法在数据级别、模型级别和架构级别进行分类和回顾。随后，本文详细讨论了在异构联邦学习环境中的隐私保护策略。最后，本文讨论了目前存在的开放问题和未来研究方向，旨在推动异构联邦学习的进一步发展。

May, 2024

FedTP: 基于 Transformer 个性化的联邦学习

研究探讨联邦平均算法对自注意力的影响，发现数据异构性制约了 Transformer 在联邦学习中的能力，提出一种新的基于 Transformer 的联邦学习框架 FedTP 并引入了学习个性化机制来进一步鼓励合作。实验证明，FedTP 与学习个性化机制具有非 IID 情形下最先进的性能。

Nov, 2022

解决联邦学习中的计算异构性：几个理论思路

机器学习的未来在于边缘计算，用于数据收集和训练，联邦学习是实现这一目标的一种方法。本文提出了一种新的聚合框架，用于解决联邦优化中的计算异构性问题，包括异构数据和本地更新，并从理论和实验的角度进行了广泛的分析。

Jul, 2023

在个性化层上进行联合学习

本文介绍了 FedPer，一种基本 + 个性化层式的联邦深度前馈神经网络训练方法，旨在对抗数据异质性的负面影响，提升联邦学习的训练效果。FedPer 的有效性在 CIFAR 数据集和 Flickr 个性化图像美学数据集上得到了证明。

Dec, 2019