Jan, 2023

全球准确个性化模型的最佳结合：基于数据自由的超知识蒸馏联邦学习

HTML
PDF
TL;DR本文介绍FedHKD算法，通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现，该算法不依赖公共数据集或在服务器上部署生成模型。实验证明，FedHKD算法提高了全局模型和个性化模型表现，超越了现有的一些异构数据联邦学习方法。
发现论文，激发创造
  • 异构联邦学习的零数据知识蒸馏

    该研究提出了一种无需原始数据即可解决异构Federated Learning问题的新方法，通过使用轻量级生成器来集成用户信息以调控本地训练，并在实验中表现出了更好的泛化能力。

    May, 2021

  • 异构联邦学习中的局部全局知识蒸馏与非独立同分布数据

    该论文提出一种名为FedGKD的新方法，通过融合历史全局模型的知识进行本地训练，解决异构联邦学习中的客户端漂移问题，并在各种计算机视觉和自然语言处理数据集上进行广泛的实验和评估，达到了优于其他五种方法的结果。

    Jun, 2021

  • 探索无代理数据联邦蒸馏中分布式知识一致性

    本文提出了一种基于分布式知识一致性的无代理数据 Federated Distillation 算法以减轻客户端模型异质性带来的知识不一致问题，并设计了优化策略以保证本地模型参数能够满足近似相似分布并被视为一致。实验表明该算法在多种异构设置下均明显优于现有方法并大幅提高了收敛速度。

    Apr, 2022

  • FedAL: 由对抗学习启发的黑盒联邦知识蒸馏

    本文提出了一种名为FedAL的基于对抗学习的联邦知识蒸馏方法，以解决不同客户端的数据异构性问题，通过使用服务器作为鉴别器指导客户端的本地模型训练，实现客户端之间的共识模型输出，并通过较少遗忘的正则化方法保证客户端之间的知识传递和学习能力。实验证明，FedAL及其变体比其他联邦知识蒸馏方法具有更高的准确率。

    Nov, 2023

  • 通过深度生成潜变量进行数据集精炼的联邦学习潜力释放

    基于深度生成模型的高效联邦学习数据集精简框架，在服务器端显著减少本地设备的计算和通信需求，提高客户端隐私，同时有效降低资源利用，通过理论分析和实证证据验证了其在高度异构的联邦学习环境中相较于非数据集精简技术的优越性，准确性提升高达40%，超过已有的数据集精简方法18%。

    Dec, 2023

  • 使用知识蒸馏在无服务器联邦学习中训练异构客户端模型

    利用优化的无服务器工作流程，在FaaS环境下实现基于知识蒸馏的异构客户端模型的联邦学习（FL）系统，实验证明无服务器FedDF比无服务器FedMD更快、成本更低且对极端非独立同分布数据分布更加鲁棒。

    Feb, 2024

  • FedD2S：个性化的无数据联邦知识蒸馏

    提出了一种名为FedD2S的创新方法，利用知识蒸馏，通过在无数据知识蒸馏过程中引入深层到浅层的层丢弃机制来加强本地模型个性化，以解决联邦学习框架中客户端数据异质性的挑战。通过在多样的图像数据集上进行广泛的模拟实验，并与现有的联邦学习基准进行比较，该方法表现出卓越的性能，具有加速收敛和改善客户公平性的特征。引入的层丢弃技术有效地捕获个性化知识，从而达到比替代联邦学习模型更好的性能。此外，研究了关键超参数（如参与比例和层丢弃率）的影响，并提供了对FedD2S的最佳配置的有价值的见解。研究结果表明，自适应层丢弃在知识蒸馏过程中能够实现在不同数据集和任务中的增强个性化和性能。

    Feb, 2024

  • 联邦蒸馏：调查

    该论文就联邦蒸馏（FD）提供了全面的概述，介绍了其最新进展，探讨了FD框架的基本原理，阐述了应对各种挑战的FD方法，并提供了FD在不同场景中的多样化应用。

    Apr, 2024

  • 联邦学习中的知识蒸馏：长期挑战和新解决方案综述

    本文综述了基于知识蒸馏的联邦学习的现状、方法和挑战，并探讨了隐私保护、数据异构性、通信效率和个性化等相关问题。

    Jun, 2024

  • 通过综合知识蒸馏实现个性化联邦学习

    本研究针对个性化联邦学习中数据异质性导致的灾难性遗忘问题，提出了一种新的方法，通过综合利用全局和历史模型进行知识蒸馏，提升本地模型的个性化能力与泛化能力。实验结果表明，该方法在防止灾难性遗忘的同时，显著提高了个性化模型的整体性能。

    Nov, 2024