本文着重研究了在本地数据不 IID 的情况下联邦学习面临的统计挑战，提出了一个使用全局数据子集来提高非 IID 数据训练准确性的解决方案，并通过实验表明，使用仅占 5％的全局数据子集就可以将 CIFAR-10 数据集的准确性提高 30％。

Jun, 2018

我们提出了 FedFMC（Fork-Merge-Consolidate），它是一种能够处理非独立同分布数据的联邦学习算法，相较于以往的方法，FedFMC 不需要使用全局共享数据子集，同时也不会增加通信成本。

Jun, 2020

本文讨论了联邦学习的隐私保护机制，分析了非独立同分布数据对水平和垂直联邦学习中参数和非参数机器学习模型的影响，概括了当前解决非独立同分布数据挑战的方法，并讨论了这些方法的优缺点。最后，提出了研究方向。

Jun, 2021

多联邦学习是一个去中心化的联邦学习框架，旨在解决非独立同分布数据的问题，并通过维护多个模型并行进行收敛，以增强适应性。

Apr, 2024

提出了一种名为联邦蒸馏（FD）的分布式模型训练算法，其通信负载大小比联邦学习（FL）小得多，尤其是当模型大小较大时，并提出了一种名为联邦增强（FAug）的方法来处理设备间用户生成数据样本分布不同的问题。实证研究表明，采用 FD 和 FAug 可以减少约 26 倍的通信开销，同时实现 95-98% 的测试精度。

Nov, 2018

本研究探讨如何在真实世界的场景下训练视觉模型。我们使用了两个新的大规模数据集，测试了 Federated Learning 算法的表现，并提出了两种新的算法以优化模型的表现。

Mar, 2020

本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。

May, 2020

本文介绍了一种新的联邦学习算法，FedDC，旨在通过本地漂移重构和修正来解决客户端数据分布异质性的问题，实验结果证明 FedDC 在各种图像分类任务上具有加速收敛和更好的性能。

Mar, 2022

本文介绍了一种新的 Federated Learning 算法 FedPDC，通过使用某些行业的共享数据集来优化本地模型的聚合方式和本地训练的损失函数。在许多基准实验中，FedPDC 可以在极度不平衡的数据分布情况下有效提高全局模型的准确性，同时确保客户数据的隐私保护，而且准确性提升不会带来额外的通信成本。

Feb, 2023

在工业物联网中，由于隐私和安全问题，很难将大量数据集中到一起训练深度学习模型，因此联邦学习，一种保护数据隐私的分布式机器学习范式，在物联网中得到广泛应用。然而，在实际的联邦学习中，数据分布通常在设备之间存在较大差异，数据的异构性将对模型的性能产生不利影响。此外，物联网中的联邦学习通常涉及大量设备的训练，而云服务器的通信资源有限成为训练的瓶颈。为了解决上述问题，本文将集中式联邦学习与分散式联邦学习相结合，设计了一种半分散式边缘云设备层次化联邦学习框架，可以缓解数据异构性的影响，并且能够在物联网中大规模部署。为了解决数据异构性的影响，我们在每个环状集群中使用了增量次梯度优化算法来改善环状集群模型的泛化能力。我们的大量实验证明，我们的方法可以有效缓解数据异构性的影响，并减轻云服务器中的通信瓶颈。

Mar, 2024