Dec, 2023

通过深度生成潜变量进行数据集精炼的联邦学习潜力释放

HTML
PDF
TL;DR基于深度生成模型的高效联邦学习数据集精简框架，在服务器端显著减少本地设备的计算和通信需求，提高客户端隐私，同时有效降低资源利用，通过理论分析和实证证据验证了其在高度异构的联邦学习环境中相较于非数据集精简技术的优越性，准确性提升高达40%，超过已有的数据集精简方法18%。
发现论文，激发创造
  • 基于蒸馏的半监督联邦学习：具有非IID私有数据的通信高效合作训练

    该研究提出了一种新的联邦学习框架，利用无标签的开放数据集和基于蒸馏的半监督学习算法，实现了模型的交流和性能的提高，并通过熵的减少平均值来减少模型之间的异质性。实验结果表明，相对于FL基准，DS-FL能降低高达99%的通信成本，同时达到相似甚至更高的分类准确性。

    Aug, 2020

  • 异构联邦学习的零数据知识蒸馏

    该研究提出了一种无需原始数据即可解决异构Federated Learning问题的新方法，通过使用轻量级生成器来集成用户信息以调控本地训练，并在实验中表现出了更好的泛化能力。

    May, 2021

  • 全球准确个性化模型的最佳结合：基于数据自由的超知识蒸馏联邦学习

    本文介绍FedHKD算法，通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现，该算法不依赖公共数据集或在服务器上部署生成模型。实验证明，FedHKD算法提高了全局模型和个性化模型表现，超越了现有的一些异构数据联邦学习方法。

    Jan, 2023

  • 异构数据下的联邦虚拟学习与本地全局蒸馏

    本文提出了一种新的联邦虚拟学习方法，名为Federated Virtual Learning on Heterogeneous Data with Local-Global Distillation(FEDLGD)，通过使用本地和全局蒸馏创建一个更小的合成数据集，以训练联邦学习，并解决了数据异构性带来的问题。实验表明，该方法在具有非常有限数量的精制虚拟数据的情况下，优于当前领先的异构FL算法。

    Mar, 2023

  • 自适应自蒸馏下的异构数据联邦学习

    提出了一种新的自适应自蒸馏（ASD）正则化技术，针对联邦学习（FL）中不同客户端观察到的本地数据分布的异质性问题，在客户端上进行训练模型并适应性地调整以接近全局模型，此技术可用于现有的状态-of-the-art FL算法中，显著提高算法的性能。

    May, 2023

  • 个性化生成网络的异构联邦学习

    通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。

    Aug, 2023

  • 使用知识蒸馏在无服务器联邦学习中训练异构客户端模型

    利用优化的无服务器工作流程，在FaaS环境下实现基于知识蒸馏的异构客户端模型的联邦学习（FL）系统，实验证明无服务器FedDF比无服务器FedMD更快、成本更低且对极端非独立同分布数据分布更加鲁棒。

    Feb, 2024

  • 联邦生成模型的系统回顾

    综述了2019年至2024年间的涉及联邦学习和生成模型的研究，系统比较了近100篇论文的方法和隐私问题，强调了最新的进展和未解决的挑战，为未来的研究提供了洞见。

    May, 2024

  • FedHPL：高效异构联邦学习中的提示调整和逻辑蒸馏

    基于Prompt调优和Logit蒸馏的参数高效统一的异构联邦学习框架FedHPL能够有效应对异构挑战，改善模型性能和加速训练，在多种数据集和模型设置下，性能优于当前最先进的联邦学习方法。

    May, 2024

  • 单一共享图像的联邦学习

    通过改进知识蒸馏方法和引入一种自适应数据集修剪算法，我们提出一种新方法，在有限的共享数据集预算下，使用一幅图像成功地进行联邦学习，同时还可以训练异构的客户端架构。

    Jun, 2024