FedPDD: 交叉隔离联合推荐的隐私保护双重蒸馏框架

May, 2023

FedPDD: 交叉隔离联合推荐的隐私保护双重蒸馏框架

FedPDD: A Privacy-preserving Double Distillation Framework for Cross-silo Federated Recommendation

Sheng Wan, Dashan Gao, Hanlin Gu, Daning Hu

TL;DR本文提出了一种用于跨平台推荐的隐私保护双蒸馏框架，其通过双重蒸馏策略实现了跨平台本地模型知识转移，采用离线训练方案降低了通信需求和隐私泄露风险，并采用差分隐私进一步保护传输的信息。与现有领先方法相比，本文的方法在两个真实数据集上实现了更好的效果。

Abstract

Cross-platform recommendation aims to improve recommendation accuracy by gathering heterogeneous features from different platforms. However, such cross-silo collaborations between platforms are restricted by increasingly stringent privacy protection regulations, thus data cannot be aggregated for training. Federated learning (FL) is a practical solution to d

cross-silo federated recommendation privacy-preserving double distillation strategy knowledge transfer differential privacy

发现论文，激发创造

快速调整和隐私保护的联邦推荐系统

提出了一种基于分散联邦学习环境的 DNN 推荐模型 PrivRec，该模型不会泄露用户数据并且具有不同的隐私保护级别。

Apr, 2021

用集合跨领域知识蒸馏保护联邦学习中的隐私

本文提出了一种基于联邦学习框架的隐私保护和通信高效方法，使用未标记的跨域公共数据进行一次离线知识蒸馏，提出了一种量化和嘈杂的本地预测集成方法，同时保证了强隐私保证和高准确性。

Sep, 2022

隐私保护合奏关注蒸馏的联邦学习

本文提出了一个利用未标记公共数据进行单向离线知识蒸馏的隐私保护联邦学习框架。通过集成注重蒸馏，利用本地知识训练中央模型。我们的技术采用分散和异构的本地数据，显著降低了隐私泄漏的风险。通过图像分类、分割和重构任务的大量实验，证明我们的方法在具有更强的隐私保护的同时实现了非常有竞争力的性能。

Oct, 2022

使用分散聚合进行具有差分隐私的联邦学习

移动设备、隐私、实用性、联邦学习和差分隐私是该研究的主要关键词，研究通过在联邦学习中采用差分隐私的实验环境并使用基准数据集来探讨隐私与实用性之间的平衡问题。

Nov, 2023

跨领域用户级差分隐私的联邦学习 ULDP-FL

我们提出了一种新的联邦学习框架 ULDP-FL，它通过每个用户的加权剪裁直接保证用户级差分隐私，在通用的跨域联邦学习中有效地提供了用户级差分隐私，并在隐私 - 效用权衡方面相比基线方法有了显著的改进。

Aug, 2023

跨领域的联邦学习与基于记录的个性化差分隐私

我们探索了记录级个性化差分隐私的跨域 FL 的未知领域，提出了一个名为 rPDP-FL 的新框架，采用两阶段混合抽样方案，通过客户端级别和非均匀记录级别抽样来满足不同的隐私需求。我们介绍了一个名为 Simulation-CurveFitting 的多功能解决方案，通过揭示 q 和 ε 之间的非线性相关性并推导出一个优雅的数学模型来解决问题。我们的评估表明，相比不考虑个性化隐私保护的基线，我们的解决方案可以提供显著的性能提升。

Jan, 2024

FedD2S：个性化的无数据联邦知识蒸馏

提出了一种名为 FedD2S 的创新方法，利用知识蒸馏，通过在无数据知识蒸馏过程中引入深层到浅层的层丢弃机制来加强本地模型个性化，以解决联邦学习框架中客户端数据异质性的挑战。通过在多样的图像数据集上进行广泛的模拟实验，并与现有的联邦学习基准进行比较，该方法表现出卓越的性能，具有加速收敛和改善客户公平性的特征。引入的层丢弃技术有效地捕获个性化知识，从而达到比替代联邦学习模型更好的性能。此外，研究了关键超参数（如参与比例和层丢弃率）的影响，并提供了对 FedD2S 的最佳配置的有价值的见解。研究结果表明，自适应层丢弃在知识蒸馏过程中能够实现在不同数据集和任务中的增强个性化和性能。

Feb, 2024

自监督分割蒸馏实现轻量化联合广告

本文提出了一个名为 VFed-SSD 的半监督分裂蒸馏框架，通过匹配对检测（MPD）的自监督任务和避免跨机构服务的 Split Knowledge Distillation（SpiltKD）模式来克服在广告系统中应用垂直联邦学习的两个挑战：标记样本缺乏和实时跨机构服务成本高。实证研究表明，我们的方法在三个工业数据集上表现良好，平均 AUC 分别提高了 0.86％和 2.6％，在本地部署模式和联邦部署模式下都显著提高了效果。

May, 2022

DFRD：无数据的异构联邦学习鲁棒性蒸馏

基于数据异构和模型异构的联邦学习场景中，使用无数据的知识蒸馏机制提出了 DFRD 方法，在服务器上通过条件生成器逼近客户端上传的本地模型训练空间，并通过动态加权和标签采样准确提取本地模型的知识，实验证明 DFRD 相较于基准模型取得了显著的性能提升。

Sep, 2023

局部差分隐私下联邦学习中的实用聚合

本文研究基于联邦学习的隐私保护问题，提出了一种局部差分隐私机制，以解决当前机制存在的噪声数据接近原始值、估计平均数的方差过大和深度学习模型权重维数高导致隐私预算过大的问题。实验结果表明，该机制不仅具有优异的深度学习性能，而且能够提供强大的隐私保证。

Jul, 2020