稳定的基于扩散的非独立同分布数据增强的联邦学习

May, 2024

稳定的基于扩散的非独立同分布数据增强的联邦学习

Stable Diffusion-based Data Augmentation for Federated Learning with Non-IID Data

Mahdi Morafah, Matthias Reisser, Bill Lin, Christos Louizos

TL;DR分布式学习的一种新方法 Gen-FedSD，通过利用最先进的文本到图像模型框架来解决非独立同分布数据在分布式学习中的性能下降问题。

Abstract

The proliferation of edge devices has brought federated learning (FL) to the forefront as a promising paradigm for decentralized and collaborative model training while preserving the privacy of clients' data. However, FL struggles with a significant performance reduction and poor conve

federated learning non-independent and identically distributed data client drift mitigation server-side model fusion gen-fedsd

发现论文，激发创造

基于 GAN 数据合成的联合学习用于非独立同分布客户端

该研究提出了一种名为 Synthetic Data Aided Federated Learning (SDA-FL) 的新框架，通过共享人工合成数据来解决客户端数据的不独立和同分布性问题，从而提高本地模型的一致性并改善全局聚合效果。

Jun, 2022

通信高效的设备端机器学习：非独立同分布私有数据下联合蒸馏与增强

提出了一种名为联邦蒸馏（FD）的分布式模型训练算法，其通信负载大小比联邦学习（FL）小得多，尤其是当模型大小较大时，并提出了一种名为联邦增强（FAug）的方法来处理设备间用户生成数据样本分布不同的问题。实证研究表明，采用 FD 和 FAug 可以减少约 26 倍的通信开销，同时实现 95-98% 的测试精度。

Nov, 2018

非独立分布联邦学习的特征匹配数据合成

通过生成合成数据来处理非独立和不同分布的数据之间的困难，从而提出了一种硬特征匹配数据合成方法以及一个数据增强的联邦学习框架来缓解数据异质性，理论分析和模拟结果验证了提出的方法在解决非独立数据挑战方面的有效性。

Aug, 2023

非独立同分布联邦学习中通过零数据知识蒸馏微调全局模型

该研究提出了一种数据无关的知识蒸馏方法，通过生成器探索本地模型的输入空间，并将本地模型的知识传递到全局模型中。实验结果表明，该方法在解决联邦学习中的数据异质性问题及提升模型性能方面，优于现有的联邦学习算法。

Mar, 2022

多联邦学习：使用分散的联邦学习处理包容性非独立同分布数据

多联邦学习是一个去中心化的联邦学习框架，旨在解决非独立同分布数据的问题，并通过维护多个模型并行进行收敛，以增强适应性。

Apr, 2024

通过梯度协调解决异构联邦学习中的非 IID 问题

该论文通过梯度冲突现象研究了联邦学习中来自多个客户端的异构性问题，并提出了一种简单有效的方法 FedGH，通过梯度协调来解决此问题。实验证明，FedGH 在不同基准和非 IID 场景中能显著提升现有的联邦学习方法，尤其在存在更强异构性的情况下效果更为显著，而且它可以方便地集成到任何联邦学习框架中，无需超参数调整。

Sep, 2023

非独立同分布数据下的联邦学习

本文着重研究了在本地数据不 IID 的情况下联邦学习面临的统计挑战，提出了一个使用全局数据子集来提高非 IID 数据训练准确性的解决方案，并通过实验表明，使用仅占 5％的全局数据子集就可以将 CIFAR-10 数据集的准确性提高 30％。

Jun, 2018

对应用于解决联邦学习中非独立同分布和异质数据特性的不同技术的综述

联邦学习是一种机器学习方法，可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练，而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题，并探索了目前设计用于解决这些挑战的算法。

Jan, 2024

基于扩散生成记忆的无数据联邦类增量学习

本文提出一种新颖的无数据的联邦类增量学习框架，使用扩散模型生成稳定、高质量的图像，通过设计新的平衡采样器、信息论的基于熵的采样过滤技术以及与基于特征的正则化项整合的知识蒸馏，来减轻灾难性遗忘和改善基于联邦学习的智能模型的准确性。

May, 2024

FedSiKD: 应对非 i.i.d 和约束的联邦学习中的客户相似性和知识蒸馏

FedSiKD 是一种相似性基于联邦学习框架，利用知识蒸馏技术解决非独立同分布数据和设备约束等问题，提高优化效率、加速学习过程并有效地在教师和学生模型之间传递知识。对 HAR 和 MNIST 数据集，FedSiKD 相较于现有算法具有更高的准确性，并在前五轮迭代中分别提升了 17% 和 20% 的准确率，展现了其早期学习的能力。代码已公开并托管在 GitHub 上。

Feb, 2024