IJCAIJun, 2022

MetaFed：基于循环知识蒸馏的跨联邦个性化医疗联邦学习

PDF
TL;DR本文提出了一种名为 MetaFed 的新型框架，通过循环知识蒸馏为每个联邦获得个性化模型，以促进不同联邦间值得信赖的联邦学习，该方法提高了精度并降低了通信成本。
federated learninghealthcaremetafedcyclic knowledge distillationcommunication costs
发现论文，激发创造
  • FedMD: 通过模型蒸馏实现异构联邦学习

    本文利用迁移学习和知识蒸馏等方法，提出了一个通用的框架，使得联邦学习在每个参与者拥有自己的数据和独特的模型的情况下也能够实现。在 MNIST/FEMNIST 和 CIFAR10/CIFAR100 数据集上的试验中，与独立建模相比，该框架使得个体模型的测试准确度平均提高了 20％，并且只有少数几个百分点的下降。

    Oct, 2019

  • 个性化联邦学习：一种元学习方法

    本文研究了联邦学习的个性化变种，在 Model-Agnostic Meta-Learning 框架下，通过个性化 Federated Averaging 算法，根据不同用户数据的分布差异，探讨其性能的影响。

    Feb, 2020

  • 具有快速收敛和高效通信的联邦元学习

    本文提出了一个联邦元学习框架 FedMeta，其中共享参数化算法而非全局模型以解决分布式移动设备网络中训练机器学习模型的统计和系统挑战，并在数据集上进行广泛实证研究，结果显示 FedMeta 相比于联邦平均 FedAvg 能够在 2.82-4.33 倍的通信成本和更快的收敛速度上取得 3.23%-14.84% 的准确性提升，并对用户隐私进行保护。

    Feb, 2018

  • FedER：通过经验回放和隐私保护数据合成的联邦学习

    本文提出一种基于体验回放和生成对抗网络思想的联合和分散学习策略，名为 FedER，它可以在保持隐私的同时整合本地节点的特征，提供能够横跨多个数据集的模型，以实现对结核和黑色素瘤分类的准确诊断

    Jun, 2022

  • 具有个性化和共享组件混合的医疗联合模型

    本文提出了一种新的个性化联邦学习框架来解决异构医疗数据在多个医院之间协作训练神经网络时的降级问题，并设计了差异性稀疏正则化器和降低计算成本的方法来提高计算效率，最后通过实验证明该方法可以获取最佳模型性能和高达 60％的通信效率改进。

    Jun, 2023

  • 个性化联邦学习中的上下文调节和元学习

    提出了一种将联邦学习与元学习技术相结合的新框架，通过学习数据批次的上下文信息并使用该知识生成调制参数来动态调整基础模型的激活，从而实现了联邦学习的效率和泛化能力的提高。实验结果表明，与现有的联邦学习方法相比，这种方法在收敛速度和模型性能方面都有所提高，突出了将上下文信息和元学习技术融入联邦学习的潜力，为分布式机器学习范式的进步铺平了道路。

    Dec, 2023

  • 全球准确个性化模型的最佳结合：基于数据自由的超知识蒸馏联邦学习

    本文介绍 FedHKD 算法，通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现，该算法不依赖公共数据集或在服务器上部署生成模型。实验证明，FedHKD 算法提高了全局模型和个性化模型表现，超越了现有的一些异构数据联邦学习方法。

    Jan, 2023

  • 非无线和无线网络上的联邦和元学习：教程

    本文综述了联邦学习、元学习和联邦元学习在非无线与无线网络中的设计、优化和应用，并分析了这些学习算法之间的关系以及它们在实际应用中的优缺点。

    Oct, 2022

  • 知识注入联邦学习

    本研究提出了一种联邦学习框架，允许参与者注入其领域知识，通过在本地对知识进行全局模型的完善，有效地应用于行业级应用。

    Aug, 2022

  • MH-pFLID：医疗数据分析的模型异构个性化联合学习：注入与蒸馏

    通过使用轻量级的消息模型，Model Heterogeneous personalized Federated Learning via Injection and Distillation (MH-pFLID) 是一种新颖的联邦学习范式，用于解决在医疗应用中的系统异构、知识蒸馏和隐私问题。

    May, 2024