非独立同分布场景下联合学习中的规范化层实验

Mar, 2023

非独立同分布场景下联合学习中的规范化层实验

Experimenting with Normalization Layers in Federated Learning on non-IID scenarios

Bruno Casella, Roberto Esposito, Antonio Sciarappa, Carlo Cavazzoni, Marco Aldinucci

TL;DR本文研究了使用联邦学习方法在分布式非独立同分布数据集上训练深度学习模型时，采用不同的规范化层和协同频率策略，优化模型性能的效果，研究发现，Batch Normalization 并不是最适合联邦学习的规范化策略，而 Group 与 Layer Normalization 能更有效地提升模型的速度和质量。此外，频繁的模型聚合也能降低模型性能。

Abstract

Training Deep Learning (DL) models require large, high-quality datasets, often assembled with data from different institutions. federated learning (FL) has been emerging as a method for privacy-preserving pooling of datasets employing collaborative training from different institutions

deep learning models federated learning non-iid data skew normalization layers model aggregation

发现论文，激发创造

在联邦深度学习中优化批标准化

研究表明，在分布式学习中，Batch Normalization 和 Group Normalization 并没有明显差异，而 Batch Normalization 可以用于更广泛的分布式学习设置中。

Mar, 2023

FedBN：通过本地批量归一化在非独立同分布特征上进行联合学习

本研究提出了一种名为 FedBN 的有效方法，该方法使用本地批量归一化来减轻特征转移非独立同分布问题，并优于现有算法，促进联邦学习的收敛性。

Feb, 2021

多域联邦学习是否不可或缺归一化？

Federated learning（FL）通过在分散的客户端上进行协同原位训练，增强数据隐私性。然而，FL 面临由于非独立和同分布的（non-i.i.d）数据而引起的挑战，导致潜在的性能下降和收敛阻碍。本研究解决了一个被称为多域 FL 的关键问题，该问题经常被忽略，即客户数据来自具有不同特征分布的不同领域。为了解决 FL 中的多域问题，我们提出了一种称为无标准化联邦学习（FedWon）的新方法。FedWon 通过在 FL 中消除所有标准化，并用缩放的权重标准化重新参数化卷积层，以解决批量标准化面临的挑战。与 FedAvg 和当前最先进的方法（FedBN）相比，我们的结果表明 FedWon 在所有实验设置中均优于它们，某些域的改进超过 10％。此外，FedWon 即使在批量大小为 1 的情况下也能够以强劲的性能处理扭曲的标记分布，并且对于跨 silos 和跨设备的 FL 非常灵活。

Jun, 2023

规范化就足够了：理解极端标签偏移下的层归一化联邦学习

通过对层归一化与联邦学习中的标签转移问题的深入研究，我们揭示了层归一化与标签转移问题之间的深刻联系，并验证了特征归一化作为层归一化中的关键机制在改善联邦学习的收敛性方面的重要作用。

Aug, 2023

异构数据感知联邦学习

本研究提出一种新方法来解决联邦学习中的问题，并在本文所述的公开基准数据集（如 Femnist）以及自己收集的数据集（即流量分类）上验证了该方法的有效性，结果表明这种方法在极端情况下具有显著的优势。

Nov, 2020

针对分布式非独立同分布数据的医学图像分类联邦学习的优化，包括部分标签

本文提出 FedFBN，一种使用预训练网络作为模型后端并在训练过程中冻结批归一化层的联邦学习框架，并通过合成 iid 玩具数据集和大规模非 iid 数据集进行评估，结果表明 FedFBN 能够优于使用分布式和非 iid 数据集训练全局模型的当前聚合策略。

Mar, 2023

联邦互助学习

本文提出了一种新的联邦学习范例，名为联邦互助学习（FML），以处理三种不同类型的异质性，允许客户在共同设计通用模型的同时独立设计个性化并为不同场景和任务的个性化定制模型。

Jun, 2020

面向边缘计算的个性化深度神经网络联合学习

该研究提出了一种多任务联邦学习算法，通过添加非联邦批归一化层来允许用户训练个性化的模型，该算法支持联邦优化策略并在实验中表现出更快的收敛速度和更好的个性化精度。

Jul, 2020

对应用于解决联邦学习中非独立同分布和异质数据特性的不同技术的综述

联邦学习是一种机器学习方法，可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练，而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题，并探索了目前设计用于解决这些挑战的算法。

Jan, 2024

开发联邦学习以实现深度模型的潜力

在研究中，发现当将现有的联邦学习框架应用于更深的神经网络时，性能会显著下降，主要原因是由于在层间反向传播过程中不同客户端模型之间的不一致性逐步积累，称为 “发散累积”，提出了减少发散的技术指南，如使用更宽的模型和减少接受场，这些方法可以大大提高联邦学习在更深层次上的准确性。

Jun, 2023