UNIDEAL: 课程知识蒸馏联邦学习

Sep, 2023

UNIDEAL: Curriculum Knowledge Distillation Federated Learning

Yuwen Yang, Chang Liu, Xun Cai, Suizhi Huang, Hongtao Lu...

TL;DRUNIDEAL 是一种针对跨领域场景和异构模型架构的新型 FL 算法，引入了可调节的师生互评课程学习来显著增强 FL 设置中的知识蒸馏效果，在各个数据集上的实验结果表明，UNIDEAL 在模型准确性和通信效率方面均表现出优异的性能，同时还提供了算法的收敛分析，展示了在非凸条件下的 O (1/T) 收敛速度。

Abstract

federated learning (FL) has emerged as a promising approach to enable collaborative learning among multiple clients while preserving data privacy. However, cross-domain fl tasks, where clients possess data from d

federated learning cross-domain fl tasks heterogeneous model architectures adjustable teacher-student mutual evaluation curriculum learning unideal

发现论文，激发创造

联邦蒸馏：调查

该论文就联邦蒸馏（FD）提供了全面的概述，介绍了其最新进展，探讨了 FD 框架的基本原理，阐述了应对各种挑战的 FD 方法，并提供了 FD 在不同场景中的多样化应用。

Apr, 2024

用集合跨领域知识蒸馏保护联邦学习中的隐私

本文提出了一种基于联邦学习框架的隐私保护和通信高效方法，使用未标记的跨域公共数据进行一次离线知识蒸馏，提出了一种量化和嘈杂的本地预测集成方法，同时保证了强隐私保证和高准确性。

Sep, 2022

联邦对抗交叉训练（FACT）

本文提出了 Federated Adversarial Cross Training （FACT）方法来解决非 i.i.d. 数据的情况下，联邦模型适应目标客户端的挑战。通过使用不同领域的源客户端之间的差异来识别目标域中的域漂移，该方法在多源单目标基准测试中优于现有的联邦模型、非联邦模型和单源单目标实验中的最新无监督域自适应模型。

Jun, 2023

医学影像中数据和模型异质性的联邦学习

本文提出了一种名为 MDH-FL 的方法，利用数据和模型的异质性，通过知识蒸馏和对称损失来提高联邦学习中全局模型的效率，实验证明该方法在医学数据集上比现有方法表现出更好的优越性。

Jul, 2023

使用知识蒸馏进行联邦遗忘

在联邦学习中，提出了一种新颖的联邦遗忘方法，通过从模型中减去历史累积更新来消除客户端的贡献，并利用知识蒸馏方法恢复模型的性能，而不使用来自客户端的任何数据。该方法不依赖于客户端的参与，不对神经网络的类型有任何限制，并引入后门攻击来评估遗忘效果。实验结果表明了本文方法的有效性和效率。

Jan, 2022

联邦学习中的知识蒸馏：长期挑战和新解决方案综述

本文综述了基于知识蒸馏的联邦学习的现状、方法和挑战，并探讨了隐私保护、数据异构性、通信效率和个性化等相关问题。

Jun, 2024

对应用于解决联邦学习中非独立同分布和异质数据特性的不同技术的综述

联邦学习是一种机器学习方法，可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练，而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题，并探索了目前设计用于解决这些挑战的算法。

Jan, 2024

KnFu: 有效的知识融合

分散学习、联邦知识蒸馏和模型漂移是关键词，本文提出了一种有效的知识融合算法，通过分析本地模型的知识有效性来实现个性化知识融合，实验证明在拥有大规模和高度异构的本地数据集的情况下，本地训练可能优于基于知识融合的解决方案。

Mar, 2024

工业联邦学习 -- 要求和系统设计

该研究介绍了一种工业联邦学习系统，旨在支持连续评估和更新中具有足够数据相似性的学习任务，并确保业务合作伙伴在共同机器学习问题中进行最佳协作，防止负面知识转移以及确保涉及边缘设备资源的优化。

May, 2020

联邦互助学习

本文提出了一种新的联邦学习范例，名为联邦互助学习（FML），以处理三种不同类型的异质性，允许客户在共同设计通用模型的同时独立设计个性化并为不同场景和任务的个性化定制模型。

Jun, 2020