Sep, 2023

通过漂移正则化的非独立同分布数据上的联邦学习

PDF
TL;DR在异构环境中，我们提出了一个名为 LfD（Learning from Drift）的方法，通过漂移估计和漂移正则化两个关键组件，该方法有效地在训练模型时防止性能下降，并在非独立同分布（Non-IID）数据的联邦学习中表现出优越性。
发现论文，激发创造
  • 非独立同分布数据上的联邦学习：调查

    本文讨论了联邦学习的隐私保护机制，分析了非独立同分布数据对水平和垂直联邦学习中参数和非参数机器学习模型的影响，概括了当前解决非独立同分布数据挑战的方法，并讨论了这些方法的优缺点。最后，提出了研究方向。

    Jun, 2021

  • 非独立同分布数据下的联邦学习

    本文着重研究了在本地数据不 IID 的情况下联邦学习面临的统计挑战，提出了一个使用全局数据子集来提高非 IID 数据训练准确性的解决方案，并通过实验表明，使用仅占 5％的全局数据子集就可以将 CIFAR-10 数据集的准确性提高 30％。

    Jun, 2018

  • FedDC：基于本地漂移解耦和校正的非独立同分布数据联邦学习

    本文介绍了一种新的联邦学习算法，FedDC，旨在通过本地漂移重构和修正来解决客户端数据分布异质性的问题，实验结果证明 FedDC 在各种图像分类任务上具有加速收敛和更好的性能。

    Mar, 2022

  • 非独立同分布数据孤岛上的联邦学习：一个实验研究

    本文介绍了分布式数据库中的非独立同分布数据的系统性了解和研究的必要性，并通过全面的数据分区策略和广泛的实验来评估现有的联邦学习算法，提供了未来解决 ' 数据孤岛 ' 挑战的启示。

    Feb, 2021

  • 异构联邦学习中的局部全局知识蒸馏与非独立同分布数据

    该论文提出一种名为 FedGKD 的新方法，通过融合历史全局模型的知识进行本地训练，解决异构联邦学习中的客户端漂移问题，并在各种计算机视觉和自然语言处理数据集上进行广泛的实验和评估，达到了优于其他五种方法的结果。

    Jun, 2021

  • 对应用于解决联邦学习中非独立同分布和异质数据特性的不同技术的综述

    联邦学习是一种机器学习方法，可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练，而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题，并探索了目前设计用于解决这些挑战的算法。

    Jan, 2024

  • 非独立同分布数据上克服联邦学习中的遗忘问题

    本文介绍了一种解决在非 i.i.d 情况下的联邦学习中局部模型漂移导致学习受阻的问题的方法，通过在损失函数中加入惩罚项，强制所有的局部模型收敛到共同的最优值，将 Catastrophic forgetting 的解决方案应用到联邦学习中，并证明这可以在分布式环境下高效地完成，通信量随节点数扩大而扩展，对于 MNIST 数据集的图像识别，该方法优于竞争对手。

    Oct, 2019

  • 本地学习很重要：重新思考联邦学习中的数据异构性

    本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

    Nov, 2021

  • 多联邦学习：使用分散的联邦学习处理包容性非独立同分布数据

    多联邦学习是一个去中心化的联邦学习框架，旨在解决非独立同分布数据的问题，并通过维护多个模型并行进行收敛，以增强适应性。

    Apr, 2024

  • FedUV：面向异构联邦学习的均匀性和方差

    对于分布式数据的异构性，冻结神经网络的最后一层作为正交分类器可以减轻局部偏差，在 IID 和非 IID 设置下，通过应用奇异值分解对权重进行分析，我们引入了两个正则化项，以连续地模拟 IID 设置，并通过广泛的实验验证了我们的方法在非 IID 情况下具有更高的性能。

    Feb, 2024