隐私保护合奏关注蒸馏的联邦学习

Oct, 2022

隐私保护合奏关注蒸馏的联邦学习

Federated Learning with Privacy-Preserving Ensemble Attention Distillation

Xuan Gong, Liangchen Song, Rishi Vedula, Abhishek Sharma, Meng Zheng...

TL;DR本文提出了一个利用未标记公共数据进行单向离线知识蒸馏的隐私保护联邦学习框架。通过集成注重蒸馏，利用本地知识训练中央模型。我们的技术采用分散和异构的本地数据，显著降低了隐私泄漏的风险。通过图像分类、分割和重构任务的大量实验，证明我们的方法在具有更强的隐私保护的同时实现了非常有竞争力的性能。

Abstract

federated learning (FL) is a machine learning paradigm where many local nodes collaboratively train a central model while keeping the training data decentralized. This is particularly relevant for clinical applications since patient data are usually not allowed to be transferred out of

federated learning privacy preservation medical applications one-way knowledge distillation ensemble attention distillation

发现论文，激发创造

用集合跨领域知识蒸馏保护联邦学习中的隐私

本文提出了一种基于联邦学习框架的隐私保护和通信高效方法，使用未标记的跨域公共数据进行一次离线知识蒸馏，提出了一种量化和嘈杂的本地预测集成方法，同时保证了强隐私保证和高准确性。

Sep, 2022

通过输入输出协作蒸馏的联邦学习

基于本地到中心的协作蒸馏的无数据联邦学习框架，通过学习对每个本地模型产生一致但独特结果的输入，实现对各种实际世界异构联邦学习场景中的图像分类和分割任务的显著隐私 - 效用权衡。

Dec, 2023

联邦学习中强化模型合并的集合蒸馏

本篇论文研究了 FL 领域中不同于普通平均策略的模型聚合方法 ——ensemble distillation，证明其能够在保证数据隐私性和节约算力的同时，更灵活地聚合异构模型，并在各种 CV/NLP 数据集和场景下优于现有的 FL 算法。

Jun, 2020

关于分散式联邦学习的调查

去中心化联邦学习解决方案的综述，包括现有的方法和未来的研究方向。

Aug, 2023

自适应自蒸馏下的异构数据联邦学习

提出了一种新的自适应自蒸馏（ASD）正则化技术，针对联邦学习（FL）中不同客户端观察到的本地数据分布的异质性问题，在客户端上进行训练模型并适应性地调整以接近全局模型，此技术可用于现有的状态 - of-the-art FL 算法中，显著提高算法的性能。

May, 2023

使用知识蒸馏进行联邦遗忘

在联邦学习中，提出了一种新颖的联邦遗忘方法，通过从模型中减去历史累积更新来消除客户端的贡献，并利用知识蒸馏方法恢复模型的性能，而不使用来自客户端的任何数据。该方法不依赖于客户端的参与，不对神经网络的类型有任何限制，并引入后门攻击来评估遗忘效果。实验结果表明了本文方法的有效性和效率。

Jan, 2022

在医学图像分析中提高私有联邦模型的性能

本研究探讨联邦学习在医疗应用中的优势，分析其如何能够解决医疗数据隐私、安全及所有权等挑战，讨论如何通过本地步骤和沟通轮数的调整来进一步提高模型的性能，并提供了理论证明和实验评估的支持。

Apr, 2023

联邦学习：应用、挑战和未来方向

本文提供了关于联邦学习的概述，并重点关注医疗保健领域。通过中央协调器服务器共享全局深度学习模型，解决了隐私保护需求并探讨了联邦学习遇到的挑战和未来发展方向，其中使用多方计算、同态加密、差分隐私和随机梯度下降等多种隐私方法。

May, 2022

联邦学习的进展：模型、方法和隐私

本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题，提出了一种更加通用的算法设计框架、攻击场景和防御方法，致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。

Feb, 2023

FedER：通过经验回放和隐私保护数据合成的联邦学习

本文提出一种基于体验回放和生成对抗网络思想的联合和分散学习策略，名为 FedER，它可以在保持隐私的同时整合本地节点的特征，提供能够横跨多个数据集的模型，以实现对结核和黑色素瘤分类的准确诊断

Jun, 2022