非独立同分布数据下的联邦学习

Jun, 2018

Federated Learning with Non-IID Data

Yue Zhao, Meng Li, Liangzhen Lai, Naveen Suda, Damon Civin...

TL;DR本文着重研究了在本地数据不 IID 的情况下联邦学习面临的统计挑战，提出了一个使用全局数据子集来提高非 IID 数据训练准确性的解决方案，并通过实验表明，使用仅占 5％的全局数据子集就可以将 CIFAR-10 数据集的准确性提高 30％。

Abstract

federated learning enables resource-constrained edge compute devices, such as mobile phones and IoT devices, to learn a shared model for prediction, while keeping the training data local. This decentralized approach to train models provides privacy, security, regulatory and economic be

federated learning non-iid data statistical challenge accuracy reduction global data subset

发现论文，激发创造

非独立同分布数据上的联邦学习：调查

本文讨论了联邦学习的隐私保护机制，分析了非独立同分布数据对水平和垂直联邦学习中参数和非参数机器学习模型的影响，概括了当前解决非独立同分布数据挑战的方法，并讨论了这些方法的优缺点。最后，提出了研究方向。

Jun, 2021

FedCD: 非独立同分布联邦学习性能改进

提出 FedCD 方法，将模型动态地克隆和删除以将设备分组，实现在非独立同分布的数据上高精度和更快的收敛。

Jun, 2020

多联邦学习：使用分散的联邦学习处理包容性非独立同分布数据

多联邦学习是一个去中心化的联邦学习框架，旨在解决非独立同分布数据的问题，并通过维护多个模型并行进行收敛，以增强适应性。

Apr, 2024

基于神经网络的新型不平衡和非独立同分布数据的联邦学习系统

通过提出集中式的、基于神经网络的联邦学习系统，利用边缘计算减少中央服务器的负载，同时在各种数据分布设置中相对于一些现有基准算法取得令人满意的性能。

Nov, 2023

对应用于解决联邦学习中非独立同分布和异质数据特性的不同技术的综述

联邦学习是一种机器学习方法，可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练，而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题，并探索了目前设计用于解决这些挑战的算法。

Jan, 2024

FedSR: 面向 IoT 系统中的非独立同分布的半分散式联邦学习算法

在工业物联网中，由于隐私和安全问题，很难将大量数据集中到一起训练深度学习模型，因此联邦学习，一种保护数据隐私的分布式机器学习范式，在物联网中得到广泛应用。然而，在实际的联邦学习中，数据分布通常在设备之间存在较大差异，数据的异构性将对模型的性能产生不利影响。此外，物联网中的联邦学习通常涉及大量设备的训练，而云服务器的通信资源有限成为训练的瓶颈。为了解决上述问题，本文将集中式联邦学习与分散式联邦学习相结合，设计了一种半分散式边缘云设备层次化联邦学习框架，可以缓解数据异构性的影响，并且能够在物联网中大规模部署。为了解决数据异构性的影响，我们在每个环状集群中使用了增量次梯度优化算法来改善环状集群模型的泛化能力。我们的大量实验证明，我们的方法可以有效缓解数据异构性的影响，并减轻云服务器中的通信瓶颈。

Mar, 2024

带异构标签和模型的资源受限联邦学习

本文提出了一个应对标签异质性的框架，该框架通过简单的 α 加权联邦聚合计算分数获得了最多 16.7% 的平均确定性准确性提高，并在树莓派 2 上进行了实验以演示其设备内功能。

Nov, 2020

非独立同分布数据孤岛上的联邦学习：一个实验研究

本文介绍了分布式数据库中的非独立同分布数据的系统性了解和研究的必要性，并通过全面的数据分区策略和广泛的实验来评估现有的联邦学习算法，提供了未来解决 ' 数据孤岛 ' 挑战的启示。

Feb, 2021

测量非同一数据分布对联邦视觉分类的影响

本文研究了 Federated Learning 在视觉分类中的作用，提出了通过服务器的惯性防止非同质数据分布对性能的负面影响，并在 CIFAR-10 上进行了实验，结果表明在不同的非同质性数据分布下，这种方案能够显著提高分类准确率。

Sep, 2019

通信高效的设备端机器学习：非独立同分布私有数据下联合蒸馏与增强

提出了一种名为联邦蒸馏（FD）的分布式模型训练算法，其通信负载大小比联邦学习（FL）小得多，尤其是当模型大小较大时，并提出了一种名为联邦增强（FAug）的方法来处理设备间用户生成数据样本分布不同的问题。实证研究表明，采用 FD 和 FAug 可以减少约 26 倍的通信开销，同时实现 95-98% 的测试精度。

Nov, 2018