KnFu: 有效的知识融合

Mar, 2024

KnFu: Effective Knowledge Fusion

S. Jamal Seyedmohammadi, S. Kawa Atapour, Jamshid Abouei, Arash Mohammadi

TL;DR分散学习、联邦知识蒸馏和模型漂移是关键词，本文提出了一种有效的知识融合算法，通过分析本地模型的知识有效性来实现个性化知识融合，实验证明在拥有大规模和高度异构的本地数据集的情况下，本地训练可能优于基于知识融合的解决方案。

Abstract

federated learning (FL) has emerged as a prominent alternative to the traditional centralized learning approach. Generally speaking, FL is a decentralized approach that allows for collaborative training of Machine Learning (ML) models across multiple local nodes, ensuring data privacy

federated learning federated knowledge distillation model drift effective knowledge fusion local training

发现论文，激发创造

联邦学习中的知识蒸馏：长期挑战和新解决方案综述

本文综述了基于知识蒸馏的联邦学习的现状、方法和挑战，并探讨了隐私保护、数据异构性、通信效率和个性化等相关问题。

Jun, 2024

全球准确个性化模型的最佳结合：基于数据自由的超知识蒸馏联邦学习

本文介绍 FedHKD 算法，通过知识蒸馏技术在服务器和客户端之间共享超知识来提高异构数据环境下的个性化联邦学习的表现，该算法不依赖公共数据集或在服务器上部署生成模型。实验证明，FedHKD 算法提高了全局模型和个性化模型表现，超越了现有的一些异构数据联邦学习方法。

Jan, 2023

面向非独立同分布数据的基于标签的联邦学习知识蒸馏

提出一种名为 Full-stack FL 的新型联邦学习框架，通过使用分层网络架构和标签驱动的知识蒸馏技术，解决大规模 IoT 网络下的可扩展性问题和异构数据环境下的鲁棒性问题，从而在所有全局蒸馏中显著提高了联邦学习的效率。

Sep, 2022

FedDKD：基于分散式知识蒸馏的联邦学习

在神经网络中，联邦学习的性能通常受到数据分布的异构性的影响。本研究提出了一种新的联邦学习框架，配备了去中心化知识蒸馏（FedDKD）的过程，通过分布在本地的局部模型来训练全球模型，可以更有效地拟合神经网络映射平均值，来克服权重计算问题。实验证明，FedDKD 在一些极度异构的数据集上表现出更高的效率和更好的训练结果，优于现有的联邦学习算法。

May, 2022

联邦蒸馏：调查

该论文就联邦蒸馏（FD）提供了全面的概述，介绍了其最新进展，探讨了 FD 框架的基本原理，阐述了应对各种挑战的 FD 方法，并提供了 FD 在不同场景中的多样化应用。

Apr, 2024

异构联邦知识图谱嵌入的学习和遗忘

本文提出了一种新的 FL 框架 ——FedLU，用于异构的 KG 嵌入学习和遗忘，利用相互的知识蒸馏来处理数据异质性造成的局部优化与全局收敛之间的漂移，并提出一种基于认知神经科学的遗忘方法，结合了逆行干扰和被动衰减，通过重用知识蒸馏来从本地客户端中抹除特定的知识并传播到全局模型。实验结果表明 FedLU 在链接预测和知识遗忘方面都取得了优秀的结果。

Feb, 2023

探索无代理数据联邦蒸馏中分布式知识一致性

本文提出了一种基于分布式知识一致性的无代理数据 Federated Distillation 算法以减轻客户端模型异质性带来的知识不一致问题，并设计了优化策略以保证本地模型参数能够满足近似相似分布并被视为一致。实验表明该算法在多种异构设置下均明显优于现有方法并大幅提高了收敛速度。

Apr, 2022

联邦知识蒸馏

介绍了分布式学习中一种名为 Federated Distillation 的解决方案，实现了模型参数的共享，通过知识蒸馏、共同蒸馏等算法，交换神经网络模型的输出，提高了通信效率，并展示了其在不同任务和环境下的适用性。

Nov, 2020

异构联邦学习中的局部全局知识蒸馏与非独立同分布数据

该论文提出一种名为 FedGKD 的新方法，通过融合历史全局模型的知识进行本地训练，解决异构联邦学习中的客户端漂移问题，并在各种计算机视觉和自然语言处理数据集上进行广泛的实验和评估，达到了优于其他五种方法的结果。

Jun, 2021

异构联邦学习的零数据知识蒸馏

该研究提出了一种无需原始数据即可解决异构 Federated Learning 问题的新方法，通过使用轻量级生成器来集成用户信息以调控本地训练，并在实验中表现出了更好的泛化能力。

May, 2021