非独立分布联邦学习的特征匹配数据合成

Aug, 2023

非独立分布联邦学习的特征匹配数据合成

Feature Matching Data Synthesis for Non-IID Federated Learning

Zijian Li, Yuchang Sun, Jiawei Shao, Yuyi Mao, Jessie Hui Wang...

TL;DR通过生成合成数据来处理非独立和不同分布的数据之间的困难，从而提出了一种硬特征匹配数据合成方法以及一个数据增强的联邦学习框架来缓解数据异质性，理论分析和模拟结果验证了提出的方法在解决非独立数据挑战方面的有效性。

Abstract

federated learning (FL) has emerged as a privacy-preserving paradigm that trains neural networks on edge devices without collecting data at a central server. However, FL encounters an inherent challenge in dealin

federated learning privacy-preserving non-iid data data synthesis data augmentation

发现论文，激发创造

基于 GAN 数据合成的联合学习用于非独立同分布客户端

该研究提出了一种名为 Synthetic Data Aided Federated Learning (SDA-FL) 的新框架，通过共享人工合成数据来解决客户端数据的不独立和同分布性问题，从而提高本地模型的一致性并改善全局聚合效果。

Jun, 2022

对应用于解决联邦学习中非独立同分布和异质数据特性的不同技术的综述

联邦学习是一种机器学习方法，可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练，而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题，并探索了目前设计用于解决这些挑战的算法。

Jan, 2024

稳定的基于扩散的非独立同分布数据增强的联邦学习

分布式学习的一种新方法 Gen-FedSD，通过利用最先进的文本到图像模型框架来解决非独立同分布数据在分布式学习中的性能下降问题。

May, 2024

HFedMS: 工业虚拟世界中具有可记忆数据语义的异构联邦学习

本文提出了一个高性能和高效的系统 HFEDMS，用于将实践的 Federated Learning 纳入工业元宇宙，克服了非独立和非同分布数据、学习遗忘和通信成本等挑战，通过动态分组和训练模式转换、语义压缩和补偿以及层间备用同步协议等技术，使得 FL 更加适应于工业设备连续产生的异构流数据，并且比传统方法更加高效和精确。

Nov, 2022

通信高效的设备端机器学习：非独立同分布私有数据下联合蒸馏与增强

提出了一种名为联邦蒸馏（FD）的分布式模型训练算法，其通信负载大小比联邦学习（FL）小得多，尤其是当模型大小较大时，并提出了一种名为联邦增强（FAug）的方法来处理设备间用户生成数据样本分布不同的问题。实证研究表明，采用 FD 和 FAug 可以减少约 26 倍的通信开销，同时实现 95-98% 的测试精度。

Nov, 2018

非独立同分布数据孤岛上的联邦学习：一个实验研究

本文介绍了分布式数据库中的非独立同分布数据的系统性了解和研究的必要性，并通过全面的数据分区策略和广泛的实验来评估现有的联邦学习算法，提供了未来解决 ' 数据孤岛 ' 挑战的启示。

Feb, 2021

非 IID 环境下辅以差分隐私合成数据的联邦学习

本文提出了基于差分隐私均值共享的联邦学习算法 FedDPMS，该算法使用变分自编码器在保护隐私的前提下，增强本地数据集合成多样化的数据以避免数据异构性对于联邦学习的负面影响，实验表明 FedDPMS 算法比其他面向异构数据的联邦学习算法性能更佳，特别适用于深度图像分类任务。

Jun, 2022

非独立同分布数据下的联邦学习

本文着重研究了在本地数据不 IID 的情况下联邦学习面临的统计挑战，提出了一个使用全局数据子集来提高非 IID 数据训练准确性的解决方案，并通过实验表明，使用仅占 5％的全局数据子集就可以将 CIFAR-10 数据集的准确性提高 30％。

Jun, 2018

异构数据感知联邦学习

本研究提出一种新方法来解决联邦学习中的问题，并在本文所述的公开基准数据集（如 Femnist）以及自己收集的数据集（即流量分类）上验证了该方法的有效性，结果表明这种方法在极端情况下具有显著的优势。

Nov, 2020

通过梯度协调解决异构联邦学习中的非 IID 问题

该论文通过梯度冲突现象研究了联邦学习中来自多个客户端的异构性问题，并提出了一种简单有效的方法 FedGH，通过梯度协调来解决此问题。实验证明，FedGH 在不同基准和非 IID 场景中能显著提升现有的联邦学习方法，尤其在存在更强异构性的情况下效果更为显著，而且它可以方便地集成到任何联邦学习框架中，无需超参数调整。

Sep, 2023