Dec, 2023

通过深度生成潜变量进行数据集精炼的联邦学习潜力释放

PDF
TL;DR基于深度生成模型的高效联邦学习数据集精简框架，在服务器端显著减少本地设备的计算和通信需求，提高客户端隐私，同时有效降低资源利用，通过理论分析和实证证据验证了其在高度异构的联邦学习环境中相较于非数据集精简技术的优越性，准确性提升高达 40%，超过已有的数据集精简方法 18%。
federated learningdataset distillationdata heterogeneityfl dataset distillation frameworkdeep generative models
发现论文，激发创造
  • 异构数据下的联邦虚拟学习与本地全局蒸馏

    本文提出了一种新的联邦虚拟学习方法，名为 Federated Virtual Learning on Heterogeneous Data with Local-Global Distillation (FEDLGD)，通过使用本地和全局蒸馏创建一个更小的合成数据集，以训练联邦学习，并解决了数据异构性带来的问题。实验表明，该方法在具有非常有限数量的精制虚拟数据的情况下，优于当前领先的异构 FL 算法。

    Mar, 2023

  • 异构联邦学习的零数据知识蒸馏

    该研究提出了一种无需原始数据即可解决异构 Federated Learning 问题的新方法，通过使用轻量级生成器来集成用户信息以调控本地训练，并在实验中表现出了更好的泛化能力。

    May, 2021

  • 联邦学习中强化模型合并的集合蒸馏

    本篇论文研究了 FL 领域中不同于普通平均策略的模型聚合方法 ——ensemble distillation，证明其能够在保证数据隐私性和节约算力的同时，更灵活地聚合异构模型，并在各种 CV/NLP 数据集和场景下优于现有的 FL 算法。

    Jun, 2020

  • 单一共享图像的联邦学习

    通过改进知识蒸馏方法和引入一种自适应数据集修剪算法，我们提出一种新方法，在有限的共享数据集预算下，使用一幅图像成功地进行联邦学习，同时还可以训练异构的客户端架构。

    Jun, 2024

  • 基于蒸馏的半监督联邦学习：具有非 IID 私有数据的通信高效合作训练

    该研究提出了一种新的联邦学习框架，利用无标签的开放数据集和基于蒸馏的半监督学习算法，实现了模型的交流和性能的提高，并通过熵的减少平均值来减少模型之间的异质性。实验结果表明，相对于 FL 基准，DS-FL 能降低高达 99% 的通信成本，同时达到相似甚至更高的分类准确性。

    Aug, 2020

  • 医学影像中数据和模型异质性的联邦学习

    本文提出了一种名为 MDH-FL 的方法，利用数据和模型的异质性，通过知识蒸馏和对称损失来提高联邦学习中全局模型的效率，实验证明该方法在医学数据集上比现有方法表现出更好的优越性。

    Jul, 2023

  • 使用知识蒸馏在无服务器联邦学习中训练异构客户端模型

    利用优化的无服务器工作流程，在 FaaS 环境下实现基于知识蒸馏的异构客户端模型的联邦学习（FL）系统，实验证明无服务器 FedDF 比无服务器 FedMD 更快、成本更低且对极端非独立同分布数据分布更加鲁棒。

    Feb, 2024

  • 数据无关蒸馏提高联邦胸部疾病分析的效率和隐私

    FedKDF 是一种无数据蒸馏的联邦学习方法，通过轻量级生成器从不同客户端中聚合知识，进而实现高效、隐私保护的胸部疾病分析。

    Oct, 2023

  • 个性化联邦学习的频谱辅助蒸馏

    基于模型频谱信息的新型谱蒸馏方法以及建立了通用与个性化模型训练之间的双向桥梁的共蒸馏框架，并提出了一种无等待本地训练协议，通过实验证明了这些方法的优越性和有效性。

    Jan, 2024

  • 全球准确个性化模型的最佳结合：基于数据自由的超知识蒸馏联邦学习

    本文介绍 FedHKD 算法，通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现，该算法不依赖公共数据集或在服务器上部署生成模型。实验证明，FedHKD 算法提高了全局模型和个性化模型表现，超越了现有的一些异构数据联邦学习方法。

    Jan, 2023