Jul, 2024

基于基础模型的合成数据辅助联邦学习

PDF
TL;DR利用基础模型生成差分隐私合成数据来辅助联邦学习，提出了一种新颖的数据增强策略 (DPSDA-FL)，用于解决非独立同分布场景下数据异质性问题，经实验证明在具有非独立同分布问题的联邦学习中，DPSDA-FL 能够将全局模型的类别回归和分类精度分别提高 26% 和 9%。
federated learning (fl)data heterogeneitydifferentially private synthetic data aided federated learning (dpsda-fl)data augmentationnon-iid issues
发现论文，激发创造
  • 基于 GAN 数据合成的联合学习用于非独立同分布客户端

    该研究提出了一种名为 Synthetic Data Aided Federated Learning (SDA-FL) 的新框架，通过共享人工合成数据来解决客户端数据的不独立和同分布性问题，从而提高本地模型的一致性并改善全局聚合效果。

    Jun, 2022

  • 非 IID 环境下辅以差分隐私合成数据的联邦学习

    本文提出了基于差分隐私均值共享的联邦学习算法 FedDPMS，该算法使用变分自编码器在保护隐私的前提下，增强本地数据集合成多样化的数据以避免数据异构性对于联邦学习的负面影响，实验表明 FedDPMS 算法比其他面向异构数据的联邦学习算法性能更佳，特别适用于深度图像分类任务。

    Jun, 2022

  • 稳定的基于扩散的非独立同分布数据增强的联邦学习

    分布式学习的一种新方法 Gen-FedSD，通过利用最先进的文本到图像模型框架来解决非独立同分布数据在分布式学习中的性能下降问题。

    May, 2024

  • 利用基础模型改进联邦学习中的轻量级客户端

    通过使用基础模型蒸馏进行联邦训练，提高轻量级客户模型在异构数据环境下的性能，并降低推理成本。

    Nov, 2023

  • 对应用于解决联邦学习中非独立同分布和异质数据特性的不同技术的综述

    联邦学习是一种机器学习方法，可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练，而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题，并探索了目前设计用于解决这些挑战的算法。

    Jan, 2024

  • 非独立分布联邦学习的特征匹配数据合成

    通过生成合成数据来处理非独立和不同分布的数据之间的困难，从而提出了一种硬特征匹配数据合成方法以及一个数据增强的联邦学习框架来缓解数据异质性， 理论分析和模拟结果验证了提出的方法在解决非独立数据挑战方面的有效性。

    Aug, 2023

  • FedD2S：个性化的无数据联邦知识蒸馏

    提出了一种名为 FedD2S 的创新方法，利用知识蒸馏，通过在无数据知识蒸馏过程中引入深层到浅层的层丢弃机制来加强本地模型个性化，以解决联邦学习框架中客户端数据异质性的挑战。通过在多样的图像数据集上进行广泛的模拟实验，并与现有的联邦学习基准进行比较，该方法表现出卓越的性能，具有加速收敛和改善客户公平性的特征。引入的层丢弃技术有效地捕获个性化知识，从而达到比替代联邦学习模型更好的性能。此外，研究了关键超参数（如参与比例和层丢弃率）的影响，并提供了对 FedD2S 的最佳配置的有价值的见解。研究结果表明，自适应层丢弃在知识蒸馏过程中能够实现在不同数据集和任务中的增强个性化和性能。

    Feb, 2024

  • 基于基础模型 API 的不同 ially Private 合成数据 1: 图像

    利用 API 来生成差分隐私合成数据的方法（DPSDA），不需要模型训练，通过 Private Evolution（PE）框架解决了这个问题，在 synthetic images 取得了很好的效果，同样适用于处理像 Stable Diffusion 这样的大型基础模型。

    May, 2023

  • 通信高效的设备端机器学习：非独立同分布私有数据下联合蒸馏与增强

    提出了一种名为联邦蒸馏（FD）的分布式模型训练算法，其通信负载大小比联邦学习（FL）小得多，尤其是当模型大小较大时，并提出了一种名为联邦增强（FAug）的方法来处理设备间用户生成数据样本分布不同的问题。实证研究表明，采用 FD 和 FAug 可以减少约 26 倍的通信开销，同时实现 95-98% 的测试精度。

    Nov, 2018

  • 异构数据感知联邦学习

    本研究提出一种新方法来解决联邦学习中的问题，并在本文所述的公开基准数据集（如 Femnist）以及自己收集的数据集（即流量分类）上验证了该方法的有效性，结果表明这种方法在极端情况下具有显著的优势。

    Nov, 2020