联邦学习中强化模型合并的集合蒸馏

Jun, 2020

联邦学习中强化模型合并的集合蒸馏

Ensemble Distillation for Robust Model Fusion in Federated Learning

Tao Lin, Lingjing Kong, Sebastian U. Stich, Martin Jaggi

TL;DR本篇论文研究了 FL 领域中不同于普通平均策略的模型聚合方法 ——ensemble distillation，证明其能够在保证数据隐私性和节约算力的同时，更灵活地聚合异构模型，并在各种 CV/NLP 数据集和场景下优于现有的 FL 算法。

Abstract

federated learning (FL) is a machine learning setting where many devices collaboratively train a machine learning model while keeping the training data decentralized. In most of the current training schemes the central model is refined by averaging the parameters of the server model an

federated learning ensemble distillation privacy risk knowledge distillation heterogeneous client models

发现论文，激发创造

隐私保护合奏关注蒸馏的联邦学习

本文提出了一个利用未标记公共数据进行单向离线知识蒸馏的隐私保护联邦学习框架。通过集成注重蒸馏，利用本地知识训练中央模型。我们的技术采用分散和异构的本地数据，显著降低了隐私泄漏的风险。通过图像分类、分割和重构任务的大量实验，证明我们的方法在具有更强的隐私保护的同时实现了非常有竞争力的性能。

Oct, 2022

异构集成知识迁移用于联邦学习中的大模型训练

本研究提出了一种新的合奏知识转移方法 Fed-ET，采用了加权一致性蒸馏方案，通过利用各服务器的高度异构数据来提取可靠的共识，同时通过利用合奏中的多样性来改善泛化能力，并在图像和语言任务中显示出在通信参数较少的情况下，Fed-ET 明显优于其他最先进的 FL 算法，并且对于高数据异构性也是强健的。

Apr, 2022

基于蒸馏的半监督联邦学习：具有非 IID 私有数据的通信高效合作训练

该研究提出了一种新的联邦学习框架，利用无标签的开放数据集和基于蒸馏的半监督学习算法，实现了模型的交流和性能的提高，并通过熵的减少平均值来减少模型之间的异质性。实验结果表明，相对于 FL 基准，DS-FL 能降低高达 99% 的通信成本，同时达到相似甚至更高的分类准确性。

Aug, 2020

用集合跨领域知识蒸馏保护联邦学习中的隐私

本文提出了一种基于联邦学习框架的隐私保护和通信高效方法，使用未标记的跨域公共数据进行一次离线知识蒸馏，提出了一种量化和嘈杂的本地预测集成方法，同时保证了强隐私保证和高准确性。

Sep, 2022

通过输入输出协作蒸馏的联邦学习

基于本地到中心的协作蒸馏的无数据联邦学习框架，通过学习对每个本地模型产生一致但独特结果的输入，实现对各种实际世界异构联邦学习场景中的图像分类和分割任务的显著隐私 - 效用权衡。

Dec, 2023

异构联邦学习的零数据知识蒸馏

该研究提出了一种无需原始数据即可解决异构 Federated Learning 问题的新方法，通过使用轻量级生成器来集成用户信息以调控本地训练，并在实验中表现出了更好的泛化能力。

May, 2021

联邦蒸馏：调查

该论文就联邦蒸馏（FD）提供了全面的概述，介绍了其最新进展，探讨了 FD 框架的基本原理，阐述了应对各种挑战的 FD 方法，并提供了 FD 在不同场景中的多样化应用。

Apr, 2024

Fed-ensemble：在联邦学习中通过模型集成来提高泛化能力

本文提出 Fed-ensemble: 一种将模型集成应用于联邦学习的简单方法，其通过随机排列更新一组 K 个模型，然后通过模型平均获得预测结果，证明了在神经切线核环境下新数据的预测来自所有 K 个模型的相同预测后验分布，并通过实验证明其在联邦学习算法中具有出色的性能，特别是在常见的异构设置中表现突出。

Jul, 2021

自适应自蒸馏下的异构数据联邦学习

提出了一种新的自适应自蒸馏（ASD）正则化技术，针对联邦学习（FL）中不同客户端观察到的本地数据分布的异质性问题，在客户端上进行训练模型并适应性地调整以接近全局模型，此技术可用于现有的状态 - of-the-art FL 算法中，显著提高算法的性能。

May, 2023

FedSDD：面向联邦学习模型聚合的可扩展和多样性增强蒸馏

我们提出了一种可扩展和多样性增强的联邦蒸馏方案 FedSDD，通过将教师模型构建成由少量聚合（全局）模型组成的集合而不是所有客户模型，以增强可伸缩性，并从一组具有增强多样性的聚合模型构建集合，从而提高了整体和主要全局模型的性能，FedSDD 在基准数据集上表现优于其他联邦学习方法，包括 FedAvg 和 FedDF。

Dec, 2023