利用模型压缩解决联合学习中的会员推导攻击

Nov, 2023

利用模型压缩解决联合学习中的会员推导攻击

Addressing Membership Inference Attack in Federated Learning with Model Compression

Gergely Dániel Németh, Miguel Ángel Lozano, Novi Quadrianto, Nuria Oliver

TL;DR基于研究成果，我们提出了一种新的隐私感知性联邦学习方法 $ exttt {MaPP-FL}$，通过在客户端上利用模型压缩并在服务器上保持完整模型，实现了同时保护客户端和服务器隐私的功能，并取得了有竞争力的分类准确性。

Abstract

federated learning (FL) has been proposed as a privacy-preserving solution for machine learning. However, recent works have shown that federated

federated learning privacy-preserving membership attacks model-agnostic privacy-enhancing

发现论文，激发创造

高效模型压缩的分层联邦学习

本文介绍了一个集成了聚类式联邦学习和模型压缩优势的新型层次式联邦学习框架，包括自适应聚类算法和局部聚合压缩算法。仿真结果证实，我们提出的算法不仅保持了可比较的预测准确性，还显著降低了相对于现有联邦学习机制的能源消耗。

May, 2024

可实现隐私保护的双阶段多方计算联邦学习

本文介绍了一种称为联邦学习的新机器学习方法，并使用多方计算来实现 FL 模型的隐私保护模型聚合，以实现在 IoT 智能制造平台中利用各自数据集进行联合训练的效果。

May, 2020

PPFL: 基于可信执行环境的隐私保护联邦学习

该论文提出并实现了一种基于隐私保护联合学习（PPFL）的框架，旨在通过利用受信任的执行环境（TEEs）对客户端进行本地训练，通过 TEEs 对服务器进行安全聚合，从而在联合学习中限制隐私泄漏，并达到显著的隐私保护与可比较的模型效用提升。

Apr, 2021

Federated Learning 中的模型聚合和个性化（含不完整类别）

在联邦学习中，我们提出了一种名为 MAP 的算法，旨在解决分布在不完整类别数据上的模型聚合和个性化挑战，通过引入限制性 softmax 替代标准 softmax 以提高模型聚合效果，并利用继承的个性化模型来存储个性化经验。大量实验证明了我们算法的优越性。

Apr, 2024

联邦学习的进展：模型、方法和隐私

本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题，提出了一种更加通用的算法设计框架、攻击场景和防御方法，致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。

Feb, 2023

面向轻量通信设计的联邦学习压缩

本文研究压缩技术对典型图像分类任务的联邦学习的影响，并证明了一种简单的方法可以在保持不到 1% 准确率损失的同时压缩 50% 的消息，与最先进的技术相媲美。

Oct, 2023

FedMap：迭代基于幅度修剪的通信高效联邦学习

FedMap 是一种新颖的方法，通过协作学习逐渐稀疏全局模型，从而提高联邦学习系统的通信效率，适用于对隐私至关重要的医疗和金融领域。它采用迭代的振幅剪枝方法训练全局模型，以减少通信开销，避免了参数重新激活问题，实现了稳定的性能表现。FedMap 在多样的设置、数据集、模型架构和超参数中进行了广泛评估，证明了在 IID 和非 IID 环境下的性能，并相较于基线方法，FedMap 能够达到更稳定的客户端模型性能，并在不降低准确性的情况下至少实现 80% 的剪枝。

Jun, 2024

基于投票共识模型压缩的网络内联合学习加快方法

提出了一种 FediAC 算法，通过在客户端报告重要的模型更新索引并在模型聚合阶段上传全局重要的模型更新，从而解决在联邦学习中部署程序可编程交换机的挑战，减少了内存空间和通信流量，同时提高了模型的准确性。

Feb, 2024

联邦大型语言模型中的隐私泄漏分析

我们的研究对联邦学习在训练大规模语言模型时的隐私分析进行了广泛的研究，从理论和实践角度设计了两种具有理论成功率的主动成员推断攻击，揭示了包括 BERT、RoBERTa、DistilBERT 和 OpenAI 的 GPT 在多个真实世界的语言数据集中存在的重大隐私漏洞，并评估了这些模型在采用最先进的差分隐私机制保护数据时的隐私泄漏情况。

Mar, 2024

FedCliP: 客户端修剪的联邦学习

本研究提出了一种新的通信高效的联邦学习（FL）框架 FedCliP，采用自适应学习算法确定参与模型训练的客户端，通过优化算法减少不必要的通信开销。实验结果显示该框架在 MNIST、FMNIST 和 CIFAR-10 等数据集上优于目前的 FL 框架。

Jan, 2023