Feb, 2024

FedD2S：个性化的无数据联邦知识蒸馏

HTML
PDF
TL;DR提出了一种名为FedD2S的创新方法，利用知识蒸馏，通过在无数据知识蒸馏过程中引入深层到浅层的层丢弃机制来加强本地模型个性化，以解决联邦学习框架中客户端数据异质性的挑战。通过在多样的图像数据集上进行广泛的模拟实验，并与现有的联邦学习基准进行比较，该方法表现出卓越的性能，具有加速收敛和改善客户公平性的特征。引入的层丢弃技术有效地捕获个性化知识，从而达到比替代联邦学习模型更好的性能。此外，研究了关键超参数（如参与比例和层丢弃率）的影响，并提供了对FedD2S的最佳配置的有价值的见解。研究结果表明，自适应层丢弃在知识蒸馏过程中能够实现在不同数据集和任务中的增强个性化和性能。
发现论文，激发创造
  • 基于结构化和非结构化剪枝的数据异构下的个性化联邦学习

    本文提出了一种针对统计异质性和非独立同分布数据的个性化全局模型联邦学习方法，使用混合剪枝和非结构化剪枝找到每个客户端的小型子网络来实现模型的个性化，实验结果表明，具有相似标签数据的客户端共享类似的个性化参数。

    May, 2021

  • 非独立同分布联邦学习中通过零数据知识蒸馏微调全局模型

    该研究提出了一种数据无关的知识蒸馏方法，通过生成器探索本地模型的输入空间，并将本地模型的知识传递到全局模型中。实验结果表明，该方法在解决联邦学习中的数据异质性问题及提升模型性能方面，优于现有的联邦学习算法。

    Mar, 2022

  • CD$^2$-pFed: 基于循环蒸馏引导的通道解耦，用于联邦学习中的模型个性化

    CD^2-pFed是一个新颖的循环蒸馏引导通道解耦框架，其通过通道解耦技术为模型个性化定制来解决异质数据客户端的问题。在全面集成本地和全局模型表示期间，循环蒸馏技术能够为我们的通道解耦框架提供更准确和广泛的结果。

    Apr, 2022

  • 全球准确个性化模型的最佳结合：基于数据自由的超知识蒸馏联邦学习

    本文介绍FedHKD算法，通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现，该算法不依赖公共数据集或在服务器上部署生成模型。实验证明，FedHKD算法提高了全局模型和个性化模型表现，超越了现有的一些异构数据联邦学习方法。

    Jan, 2023

  • FedAL: 由对抗学习启发的黑盒联邦知识蒸馏

    本文提出了一种名为FedAL的基于对抗学习的联邦知识蒸馏方法，以解决不同客户端的数据异构性问题，通过使用服务器作为鉴别器指导客户端的本地模型训练，实现客户端之间的共识模型输出，并通过较少遗忘的正则化方法保证客户端之间的知识传递和学习能力。实验证明，FedAL及其变体比其他联邦知识蒸馏方法具有更高的准确率。

    Nov, 2023

  • 通过深度生成潜变量进行数据集精炼的联邦学习潜力释放

    基于深度生成模型的高效联邦学习数据集精简框架，在服务器端显著减少本地设备的计算和通信需求，提高客户端隐私，同时有效降低资源利用，通过理论分析和实证证据验证了其在高度异构的联邦学习环境中相较于非数据集精简技术的优越性，准确性提升高达40%，超过已有的数据集精简方法18%。

    Dec, 2023

  • FedSiKD: 应对非i.i.d和约束的联邦学习中的客户相似性和知识蒸馏

    FedSiKD是一种相似性基于联邦学习框架，利用知识蒸馏技术解决非独立同分布数据和设备约束等问题，提高优化效率、加速学习过程并有效地在教师和学生模型之间传递知识。对HAR和MNIST数据集，FedSiKD相较于现有算法具有更高的准确性，并在前五轮迭代中分别提升了17%和20%的准确率，展现了其早期学习的能力。代码已公开并托管在GitHub上。

    Feb, 2024

  • 联邦学习中的知识蒸馏：长期挑战和新解决方案综述

    本文综述了基于知识蒸馏的联邦学习的现状、方法和挑战，并探讨了隐私保护、数据异构性、通信效率和个性化等相关问题。

    Jun, 2024

  • 通过加法和低秩分解在联邦学习中解耦通用和个性化知识

    FedDecomp是一种简单而有效的个性化联邦学习范式，通过参数加法分解来解决数据异构性问题，从而更彻底地解耦共享和个性化知识，实现了比参数划分方法更好的性能。

    Jun, 2024

  • 通过综合知识蒸馏实现个性化联邦学习

    本研究针对个性化联邦学习中数据异质性导致的灾难性遗忘问题，提出了一种新的方法，通过综合利用全局和历史模型进行知识蒸馏，提升本地模型的个性化能力与泛化能力。实验结果表明，该方法在防止灾难性遗忘的同时，显著提高了个性化模型的整体性能。

    Nov, 2024