May, 2024

克服联合学习中批归一化的挑战

PDF
TL;DR在联合学习中，批量标准化 (Federated BatchNorm) 是一种新的机制，它在训练中保持一致性，确保批量标准化与中心化执行中所获得的一致，并准确估计全局统计数据，从而减少外部协变量转移和与中心化设置的评估性能匹配。此外，可以通过稍微增加复杂性来加强 FBN 以减轻错误统计和可能的对抗攻击。
batch normalizationfederated learningdata heterogeneityfederated batchnormexternal covariate shift
发现论文，激发创造
  • 在联邦深度学习中优化批标准化

    研究表明，在分布式学习中，Batch Normalization 和 Group Normalization 并没有明显差异，而 Batch Normalization 可以用于更广泛的分布式学习设置中。

    Mar, 2023

  • FedBN：通过本地批量归一化在非独立同分布特征上进行联合学习

    本研究提出了一种名为 FedBN 的有效方法，该方法使用本地批量归一化来减轻特征转移非独立同分布问题，并优于现有算法，促进联邦学习的收敛性。

    Feb, 2021

  • 非独立同分布场景下联合学习中的规范化层实验

    本文研究了使用联邦学习方法在分布式非独立同分布数据集上训练深度学习模型时，采用不同的规范化层和协同频率策略，优化模型性能的效果，研究发现，Batch Normalization 并不是最适合联邦学习的规范化策略，而 Group 与 Layer Normalization 能更有效地提升模型的速度和质量。此外，频繁的模型聚合也能降低模型性能。

    Mar, 2023

  • FedFN：解决联邦学习中的数据异质性问题的特征正态化

    研究通过实验证明 FedFN 学习方法在训练模型时依然可以保持高效性能，尤其在面对数据异质性和特征表征等问题时表现优异。

    Nov, 2023

  • 针对分布式非独立同分布数据的医学图像分类联邦学习的优化，包括部分标签

    本文提出 FedFBN，一种使用预训练网络作为模型后端并在训练过程中冻结批归一化层的联邦学习框架，并通过合成 iid 玩具数据集和大规模非 iid 数据集进行评估，结果表明 FedFBN 能够优于使用分布式和非 iid 数据集训练全局模型的当前聚合策略。

    Mar, 2023

  • 面向医疗保健的个性化联邦学习和自适应批量归一化

    本文针对数据分布差异和个性化需求，提出了 FedAP 算法，基于对批量规范化层统计量的相似度学习，用个性化的批量规范化方法保留每个客户的特殊性，实现了对本地客户的个性化建模。在五项医疗基准测试中的实验证明，FedAP 相比现有的最先进方法，如对于 PAMAP2 的准确率提高了 10%，达到了更好的准确性和更快的收敛速度。

    Dec, 2021

  • 批量标准化：通过减少内部协变量漂移加速深层神经网络训练

    该论文讨论了深度神经网络训练中的内部协变量漂移问题，并通过在模型架构内加入标准化方法及在每个训练 mini-batch 的操作中进行标准化，解决了此问题，在 Image Classification 上取得了优秀的表现。

    Feb, 2015

  • 变分贝叶斯与联邦连续学习

    通过引入联邦贝叶斯神经网络（FedBNN）的连续框架，本研究通过将本地和历史数据分布的知识持续集成到单个模型中，从而在学习新的数据分布的同时保留了对历史分布的性能，实现了在联邦学习和持续学习中降低遗忘的最先进结果。

    May, 2024

  • 多中心组织病理学数据的分散联邦学习

    本文通过引入局部统计批量规范化（BN）层，提出了一种新的联邦学习方法，使得深度学习架构能够进行协作训练，但同时具有针对多中心数据异质性的鲁棒性和不共享中心特定层激活统计信息以降低信息泄漏风险的能力。此方法在 Camelyon16 和 Camelyon17 数据集的肿瘤组织学图像块分类中表现出较好的传输学习效果，相对于之前现有技术并有很大的优势。

    Aug, 2020

  • 多域联邦学习是否不可或缺归一化？

    Federated learning（FL）通过在分散的客户端上进行协同原位训练，增强数据隐私性。然而，FL 面临由于非独立和同分布的（non-i.i.d）数据而引起的挑战，导致潜在的性能下降和收敛阻碍。本研究解决了一个被称为多域 FL 的关键问题，该问题经常被忽略，即客户数据来自具有不同特征分布的不同领域。为了解决 FL 中的多域问题，我们提出了一种称为无标准化联邦学习（FedWon）的新方法。FedWon 通过在 FL 中消除所有标准化，并用缩放的权重标准化重新参数化卷积层，以解决批量标准化面临的挑战。与 FedAvg 和当前最先进的方法（FedBN）相比，我们的结果表明 FedWon 在所有实验设置中均优于它们，某些域的改进超过 10％。此外，FedWon 即使在批量大小为 1 的情况下也能够以强劲的性能处理扭曲的标记分布，并且对于跨 silos 和跨设备的 FL 非常灵活。

    Jun, 2023