通过输入输出协作蒸馏的联邦学习

AAAIDec, 2023

通过输入输出协作蒸馏的联邦学习

Federated Learning via Input-Output Collaborative Distillation

Xuan Gong, Shanglin Li, Yuxiang Bao, Barry Yao, Yawen Huang...

TL;DR基于本地到中心的协作蒸馏的无数据联邦学习框架，通过学习对每个本地模型产生一致但独特结果的输入，实现对各种实际世界异构联邦学习场景中的图像分类和分割任务的显著隐私 - 效用权衡。

Abstract

federated learning (FL) is a machine learning paradigm in which distributed local nodes collaboratively train a central model without sharing individually held private data. Existing FL methods either iteratively share local model parameters or deploy co-distillation. However, the form

federated learning data heterogeneity privacy-utility trade-offs collaborative distillation data-free fl framework

发现论文，激发创造

隐私保护合奏关注蒸馏的联邦学习

本文提出了一个利用未标记公共数据进行单向离线知识蒸馏的隐私保护联邦学习框架。通过集成注重蒸馏，利用本地知识训练中央模型。我们的技术采用分散和异构的本地数据，显著降低了隐私泄漏的风险。通过图像分类、分割和重构任务的大量实验，证明我们的方法在具有更强的隐私保护的同时实现了非常有竞争力的性能。

Oct, 2022

用集合跨领域知识蒸馏保护联邦学习中的隐私

本文提出了一种基于联邦学习框架的隐私保护和通信高效方法，使用未标记的跨域公共数据进行一次离线知识蒸馏，提出了一种量化和嘈杂的本地预测集成方法，同时保证了强隐私保证和高准确性。

Sep, 2022

基于蒸馏的半监督联邦学习：具有非 IID 私有数据的通信高效合作训练

该研究提出了一种新的联邦学习框架，利用无标签的开放数据集和基于蒸馏的半监督学习算法，实现了模型的交流和性能的提高，并通过熵的减少平均值来减少模型之间的异质性。实验结果表明，相对于 FL 基准，DS-FL 能降低高达 99% 的通信成本，同时达到相似甚至更高的分类准确性。

Aug, 2020

关于分散式联邦学习的调查

去中心化联邦学习解决方案的综述，包括现有的方法和未来的研究方向。

Aug, 2023

联邦蒸馏：调查

该论文就联邦蒸馏（FD）提供了全面的概述，介绍了其最新进展，探讨了 FD 框架的基本原理，阐述了应对各种挑战的 FD 方法，并提供了 FD 在不同场景中的多样化应用。

Apr, 2024

单一共享图像的联邦学习

通过改进知识蒸馏方法和引入一种自适应数据集修剪算法，我们提出一种新方法，在有限的共享数据集预算下，使用一幅图像成功地进行联邦学习，同时还可以训练异构的客户端架构。

Jun, 2024

联邦学习中强化模型合并的集合蒸馏

本篇论文研究了 FL 领域中不同于普通平均策略的模型聚合方法 ——ensemble distillation，证明其能够在保证数据隐私性和节约算力的同时，更灵活地聚合异构模型，并在各种 CV/NLP 数据集和场景下优于现有的 FL 算法。

Jun, 2020

基于代表共享的可扩展协作学习

通过在线知识蒸馏使用对比损失的新方法，保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征，并将平均最后隐藏层激活的特征表示发布到中央服务器，然后客户端使用对比目标在其个人模型中蒸馏其知识，从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用，本框架在多个数据集上使用不同的模型架构进行了性能基准测试。

Nov, 2022

联邦学习的进展和开放问题

本文讨论联邦学习的最新进展和挑战，并提出了一系列开放性问题和挑战。

Dec, 2019

合作设备的联邦学习：大规模物联网网络的共识方法

这篇论文介绍了一种完全分布式的联邦学习算法，该算法的优点在于避免了数据披露并具有扩展性商用前景，可以在包括物联网设备在内的网络中使用。

Dec, 2019