Jan, 2023

FedICT: 多接入边缘计算的联邦多任务蒸馏

PDF
TL;DR提出了一种名为 FedICT 的方法，使用知识蒸馏来实现在不同设备中同时训练相关但个性化的机器学习模型的目标。FedICT 在三个不同的数据集上的实验结果显示，相比于 FedAvg 和 FedGKT，其可在更少的通信开销和通信轮次内取得更好的精度表现，且可适应不同的数据异构性和模型结构设置。
federated learningmulti-access edge computingknowledge distillationpersonalized machine learningdata heterogeneity
发现论文，激发创造
  • FedMEKT: 基于蒸馏的多模态联邦学习嵌入式知识传递

    通过引入半监督学习方法和知识迁移机制，我们提出了一种新颖的多模态联邦学习框架 FedMEKT，该框架在多个客户端之间协作训练一个广义全局模型，克服了单模态数据和标记数据约束的问题，并且较其他基准方法具有更高的全局编码器性能、保证了用户数据和模型参数的隐私，并且通信成本较低。

    Jul, 2023

  • 混合分布下的联邦多任务学习

    该研究提出了一种基于混合模型假设的联邦多任务学习方法，该方法可以在设备上学习个性化模型并实现客户端和服务端两种架构下的联邦 EM 算法的收敛，同时在联邦学习基准测试中获得了更高的准确性和公平性。

    Aug, 2021

  • KnFu: 有效的知识融合

    分散学习、联邦知识蒸馏和模型漂移是关键词，本文提出了一种有效的知识融合算法，通过分析本地模型的知识有效性来实现个性化知识融合，实验证明在拥有大规模和高度异构的本地数据集的情况下，本地训练可能优于基于知识融合的解决方案。

    Mar, 2024

  • 异构联邦学习中的局部全局知识蒸馏与非独立同分布数据

    该论文提出一种名为 FedGKD 的新方法，通过融合历史全局模型的知识进行本地训练，解决异构联邦学习中的客户端漂移问题，并在各种计算机视觉和自然语言处理数据集上进行广泛的实验和评估，达到了优于其他五种方法的结果。

    Jun, 2021

  • FedMD: 通过模型蒸馏实现异构联邦学习

    本文利用迁移学习和知识蒸馏等方法，提出了一个通用的框架，使得联邦学习在每个参与者拥有自己的数据和独特的模型的情况下也能够实现。在 MNIST/FEMNIST 和 CIFAR10/CIFAR100 数据集上的试验中，与独立建模相比，该框架使得个体模型的测试准确度平均提高了 20％，并且只有少数几个百分点的下降。

    Oct, 2019

  • 全球准确个性化模型的最佳结合：基于数据自由的超知识蒸馏联邦学习

    本文介绍 FedHKD 算法，通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现，该算法不依赖公共数据集或在服务器上部署生成模型。实验证明，FedHKD 算法提高了全局模型和个性化模型表现，超越了现有的一些异构数据联邦学习方法。

    Jan, 2023

  • 面向边缘计算的个性化深度神经网络联合学习

    该研究提出了一种多任务联邦学习算法，通过添加非联邦批归一化层来允许用户训练个性化的模型，该算法支持联邦优化策略并在实验中表现出更快的收敛速度和更好的个性化精度。

    Jul, 2020

  • 移动边缘计算系统中基于可靠性不敏感客户端的联邦学习加速

    本文设计了一种称为 HybridFL 的多层联邦学习协议，该协议结合了边缘节点和云端两层不同的模型聚合策略，并使用概率方法在不确定的末端设备状态下通过区域弹性因子来选择客户端，实验证明了该协议在不同规模的 MEC 系统中显著提高了 FL 训练过程的效率，缩短了联邦轮次长度，加速了全局模型的收敛速度（最多快 12 倍），并降低了末端设备的能耗（最多降低 58%）。

    Jul, 2020

  • 非独立同分布联邦学习中通过零数据知识蒸馏微调全局模型

    该研究提出了一种数据无关的知识蒸馏方法，通过生成器探索本地模型的输入空间，并将本地模型的知识传递到全局模型中。实验结果表明，该方法在解决联邦学习中的数据异质性问题及提升模型性能方面，优于现有的联邦学习算法。

    Mar, 2022

  • MetaFed：基于循环知识蒸馏的跨联邦个性化医疗联邦学习

    本文提出了一种名为 MetaFed 的新型框架，通过循环知识蒸馏为每个联邦获得个性化模型，以促进不同联邦间值得信赖的联邦学习，该方法提高了精度并降低了通信成本。

    Jun, 2022