FedDistill: 全局模型蒸馏以消除非独立同分布联邦学习中的局部模型偏差

Apr, 2024

FedDistill: 全局模型蒸馏以消除非独立同分布联邦学习中的局部模型偏差

FedDistill: Global Model Distillation for Local Model De-Biasing in Non-IID Federated Learning

Changlin Song, Divya Saxena, Jiannong Cao, Yuqing Zhao

TL;DRFedDistill 是一个增强全局模型与本地模型之间知识传输的框架，专注于解决非均衡类分布的问题，通过群体蒸馏并将全局模型分解为特征提取器和分类器，确保本地模型不会忘记低频类别，而是更擅长准确识别和分类，通过全面实验验证了 FedDistill 在准确度和收敛速度上超越了现有基线模型。

Abstract

federated learning (FL) is a novel approach that allows for collaborative machine learning while preserving data privacy by leveraging models trained on decentralized devices. However, FL faces challenges due to non-uniformly distributed (non-iid) data across clients, which impacts mod

federated learning non-iid data imbalanced class distribution knowledge transfer local models

发现论文，激发创造

非独立同分布联邦学习中通过零数据知识蒸馏微调全局模型

该研究提出了一种数据无关的知识蒸馏方法，通过生成器探索本地模型的输入空间，并将本地模型的知识传递到全局模型中。实验结果表明，该方法在解决联邦学习中的数据异质性问题及提升模型性能方面，优于现有的联邦学习算法。

Mar, 2022

通过本地和全局的蒸馏在非独立同分布数据上进行联邦学习

本文提出一种名为 FedND 的新型联邦学习算法，采用知识蒸馏优化模型训练过程，并在客户端使用自我蒸馏方法进行本地模型训练，在服务器端生成噪声样本用于蒸馏其他客户端，最终通过聚合本地模型获得全局模型，实验结果表明该算法不仅达到最佳性能，而且比现有的算法更具通信效率。

Jun, 2023

异构数据下的联邦虚拟学习与本地全局蒸馏

本文提出了一种新的联邦虚拟学习方法，名为 Federated Virtual Learning on Heterogeneous Data with Local-Global Distillation (FEDLGD)，通过使用本地和全局蒸馏创建一个更小的合成数据集，以训练联邦学习，并解决了数据异构性带来的问题。实验表明，该方法在具有非常有限数量的精制虚拟数据的情况下，优于当前领先的异构 FL 算法。

Mar, 2023

FedDr+: 使用全局特征蒸馏稳定点回归的联邦学习

FedDr + 是一种新的算法，通过使用点回归损失进行本地模型对齐，冻结分类器以实现特征对齐，并采用特征蒸馏机制保留有关未见 / 缺失类别的信息，从而有效地整合个体客户端的知识，提高全局和个性化联邦学习的性能。

Jun, 2024

通信高效的设备端机器学习：非独立同分布私有数据下联合蒸馏与增强

提出了一种名为联邦蒸馏（FD）的分布式模型训练算法，其通信负载大小比联邦学习（FL）小得多，尤其是当模型大小较大时，并提出了一种名为联邦增强（FAug）的方法来处理设备间用户生成数据样本分布不同的问题。实证研究表明，采用 FD 和 FAug 可以减少约 26 倍的通信开销，同时实现 95-98% 的测试精度。

Nov, 2018

异构联邦学习中的局部全局知识蒸馏与非独立同分布数据

该论文提出一种名为 FedGKD 的新方法，通过融合历史全局模型的知识进行本地训练，解决异构联邦学习中的客户端漂移问题，并在各种计算机视觉和自然语言处理数据集上进行广泛的实验和评估，达到了优于其他五种方法的结果。

Jun, 2021

FedDC：基于本地漂移解耦和校正的非独立同分布数据联邦学习

本文介绍了一种新的联邦学习算法，FedDC，旨在通过本地漂移重构和修正来解决客户端数据分布异质性的问题，实验结果证明 FedDC 在各种图像分类任务上具有加速收敛和更好的性能。

Mar, 2022

通过输入输出协作蒸馏的联邦学习

基于本地到中心的协作蒸馏的无数据联邦学习框架，通过学习对每个本地模型产生一致但独特结果的输入，实现对各种实际世界异构联邦学习场景中的图像分类和分割任务的显著隐私 - 效用权衡。

Dec, 2023

MH-pFLID：医疗数据分析的模型异构个性化联合学习：注入与蒸馏

通过使用轻量级的消息模型，Model Heterogeneous personalized Federated Learning via Injection and Distillation (MH-pFLID) 是一种新颖的联邦学习范式，用于解决在医疗应用中的系统异构、知识蒸馏和隐私问题。

May, 2024

面向非独立同分布数据的基于标签的联邦学习知识蒸馏

提出一种名为 Full-stack FL 的新型联邦学习框架，通过使用分层网络架构和标签驱动的知识蒸馏技术，解决大规模 IoT 网络下的可扩展性问题和异构数据环境下的鲁棒性问题，从而在所有全局蒸馏中显著提高了联邦学习的效率。

Sep, 2022