Oct, 2019

FedMD: 通过模型蒸馏实现异构联邦学习

PDF
TL;DR本文利用迁移学习和知识蒸馏等方法，提出了一个通用的框架，使得联邦学习在每个参与者拥有自己的数据和独特的模型的情况下也能够实现。在 MNIST/FEMNIST 和 CIFAR10/CIFAR100 数据集上的试验中，与独立建模相比，该框架使得个体模型的测试准确度平均提高了 20％，并且只有少数几个百分点的下降。
federated learningtransfer learningknowledge distillationdata privacymodel design
发现论文，激发创造
  • MH-pFLID：医疗数据分析的模型异构个性化联合学习：注入与蒸馏

    通过使用轻量级的消息模型，Model Heterogeneous personalized Federated Learning via Injection and Distillation (MH-pFLID) 是一种新颖的联邦学习范式，用于解决在医疗应用中的系统异构、知识蒸馏和隐私问题。

    May, 2024

  • 医学影像中数据和模型异质性的联邦学习

    本文提出了一种名为 MDH-FL 的方法，利用数据和模型的异质性，通过知识蒸馏和对称损失来提高联邦学习中全局模型的效率，实验证明该方法在医学数据集上比现有方法表现出更好的优越性。

    Jul, 2023

  • FedH2L：具有模型和统计异质性的联邦学习

    该论文提出了 FedH2L 方法，通过相互蒸馏和分散学习的方式来实现联邦学习中不同参与者拥有不同网络结构和数据分布的情况下训练一个强而全面的全局模型。

    Jan, 2021

  • 基于知识蒸馏的异构联邦学习

    通过使用双向知识蒸馏方法，在具有不同性能的一部分客户端上训练较大的模型和整体池上训练较小的模型，实现不同领域之间的模型域转移，从而提高联邦平均算法的性能。该方法在图像分类和语言建模任务中表现出改进的效果，即使只有领域外或领域内有限的蒸馏数据可用。

    Oct, 2023

  • 单一共享图像的联邦学习

    通过改进知识蒸馏方法和引入一种自适应数据集修剪算法，我们提出一种新方法，在有限的共享数据集预算下，使用一幅图像成功地进行联邦学习，同时还可以训练异构的客户端架构。

    Jun, 2024

  • 具有个性化和共享组件混合的医疗联合模型

    本文提出了一种新的个性化联邦学习框架来解决异构医疗数据在多个医院之间协作训练神经网络时的降级问题，并设计了差异性稀疏正则化器和降低计算成本的方法来提高计算效率，最后通过实验证明该方法可以获取最佳模型性能和高达 60％的通信效率改进。

    Jun, 2023

  • 异构联邦学习中的局部全局知识蒸馏与非独立同分布数据

    该论文提出一种名为 FedGKD 的新方法，通过融合历史全局模型的知识进行本地训练，解决异构联邦学习中的客户端漂移问题，并在各种计算机视觉和自然语言处理数据集上进行广泛的实验和评估，达到了优于其他五种方法的结果。

    Jun, 2021

  • MetaFed：基于循环知识蒸馏的跨联邦个性化医疗联邦学习

    本文提出了一种名为 MetaFed 的新型框架，通过循环知识蒸馏为每个联邦获得个性化模型，以促进不同联邦间值得信赖的联邦学习，该方法提高了精度并降低了通信成本。

    Jun, 2022

  • FedPH: 增强隐私的异构联邦学习

    提出一种新的联邦学习方法，利用预训练模型作为本地模型的骨架，使用完全连接的层组成头部来解决客户端数据分布和计算资源不同的问题，在客户端之间共享类别的嵌入向量，采用加噪声的隐私保护混合方法来保护隐私，最后在自建车辆数据集上进行全面评估。

    Jan, 2023

  • 联邦互助学习

    本文提出了一种新的联邦学习范例，名为联邦互助学习（FML），以处理三种不同类型的异质性，允许客户在共同设计通用模型的同时独立设计个性化并为不同场景和任务的个性化定制模型。

    Jun, 2020