联邦知识蒸馏

MMNov, 2020

Federated Knowledge Distillation

Hyowoon Seo, Jihong Park, Seungeun Oh, Mehdi Bennis, Seong-Lyun Kim

TL;DR介绍了分布式学习中一种名为 Federated Distillation 的解决方案，实现了模型参数的共享，通过知识蒸馏、共同蒸馏等算法，交换神经网络模型的输出，提高了通信效率，并展示了其在不同任务和环境下的适用性。

Abstract

distributed learning frameworks often rely on exchanging model parameters across workers, instead of revealing their raw data. A prime example is federated learning that exchanges the gradients or weights of each neural network model. Under limited communication resources, however, suc

distributed learning federated distillation neural networks communication efficiency knowledge distillation

发现论文，激发创造

联邦蒸馏：调查

该论文就联邦蒸馏（FD）提供了全面的概述，介绍了其最新进展，探讨了 FD 框架的基本原理，阐述了应对各种挑战的 FD 方法，并提供了 FD 在不同场景中的多样化应用。

Apr, 2024

基于知识蒸馏的通信高效联邦学习 (FedKD)

本研究提出了一种基于知识蒸馏的通信高效的联邦学习方法，通过在客户端上互相学习一个学生模型和一个教师模型，只共享学生模型以降低通信成本，并提出了一种基于奇异值分解的动态梯度逼近方法来进一步降低通信成本。实验表明，该方法能够有效减少通信成本并取得竞争性的结果。

Aug, 2021

FedDKD：基于分散式知识蒸馏的联邦学习

在神经网络中，联邦学习的性能通常受到数据分布的异构性的影响。本研究提出了一种新的联邦学习框架，配备了去中心化知识蒸馏（FedDKD）的过程，通过分布在本地的局部模型来训练全球模型，可以更有效地拟合神经网络映射平均值，来克服权重计算问题。实验证明，FedDKD 在一些极度异构的数据集上表现出更高的效率和更好的训练结果，优于现有的联邦学习算法。

May, 2022

联邦学习中的知识蒸馏：长期挑战和新解决方案综述

本文综述了基于知识蒸馏的联邦学习的现状、方法和挑战，并探讨了隐私保护、数据异构性、通信效率和个性化等相关问题。

Jun, 2024

基于知识蒸馏的模型无关联合学习

该研究考虑设计一个通用的 API 用于联邦学习，但发现大多数基于知识蒸馏的联邦学习协议表现不佳，因此提出了一个新的理论框架（联邦核岭回归）来解决模型和数据异构性的问题，并根据知识蒸馏设计了新的协议，通过实验验证了该框架的理论预测。

Oct, 2021

探索无代理数据联邦蒸馏中分布式知识一致性

本文提出了一种基于分布式知识一致性的无代理数据 Federated Distillation 算法以减轻客户端模型异质性带来的知识不一致问题，并设计了优化策略以保证本地模型参数能够满足近似相似分布并被视为一致。实验表明该算法在多种异构设置下均明显优于现有方法并大幅提高了收敛速度。

Apr, 2022

无好老师的隐私保护联合蒸馏中的选择性知识共享

本文提出了一种新的联邦蒸馏机制（Selective-FD），其中包括客户端和服务器端选择器来准确地识别本地和集合预测的知识以增强联邦学习框架的泛化能力，并在实验中得到验证。

Apr, 2023

面向非独立同分布数据的基于标签的联邦学习知识蒸馏

提出一种名为 Full-stack FL 的新型联邦学习框架，通过使用分层网络架构和标签驱动的知识蒸馏技术，解决大规模 IoT 网络下的可扩展性问题和异构数据环境下的鲁棒性问题，从而在所有全局蒸馏中显著提高了联邦学习的效率。

Sep, 2022

通过本地和全局的蒸馏在非独立同分布数据上进行联邦学习

本文提出一种名为 FedND 的新型联邦学习算法，采用知识蒸馏优化模型训练过程，并在客户端使用自我蒸馏方法进行本地模型训练，在服务器端生成噪声样本用于蒸馏其他客户端，最终通过聚合本地模型获得全局模型，实验结果表明该算法不仅达到最佳性能，而且比现有的算法更具通信效率。

Jun, 2023

KnFu: 有效的知识融合

分散学习、联邦知识蒸馏和模型漂移是关键词，本文提出了一种有效的知识融合算法，通过分析本地模型的知识有效性来实现个性化知识融合，实验证明在拥有大规模和高度异构的本地数据集的情况下，本地训练可能优于基于知识融合的解决方案。

Mar, 2024