本文研究基于联邦学习的隐私保护问题，提出了一种局部差分隐私机制，以解决当前机制存在的噪声数据接近原始值、估计平均数的方差过大和深度学习模型权重维数高导致隐私预算过大的问题。实验结果表明，该机制不仅具有优异的深度学习性能，而且能够提供强大的隐私保证。

Jul, 2020

使用联邦学习和差分隐私技术来保护隐私，同时采用 PEU、LoRA 和 NCE 等技术来降低大模型的噪声和内存需求，从而成功地在计算受限设备上训练大词汇量的语言模型。

Jul, 2022

使用差分隐私算法减轻联邦学习中的信息泄露风险，提供共识模型的协作更新，同时允许本地个性化，以优化隐私 - 效用权衡问题，并通过实验证明，在小的隐私预算下，相比之前的方法，在图像分类任务中取得显著性能提升。

Sep, 2023

提出一种新的联邦学习方法，利用预训练模型作为本地模型的骨架，使用完全连接的层组成头部来解决客户端数据分布和计算资源不同的问题，在客户端之间共享类别的嵌入向量，采用加噪声的隐私保护混合方法来保护隐私，最后在自建车辆数据集上进行全面评估。

Jan, 2023

本篇论文提出了一种名为 Fed-SMP 的新型差分隐私联邦学习方案，该方案采用 Sparsified Model Perturbation (SMP) 技术，在保持高模型准确性的同时，提供客户端级差分隐私保证，并使用 Renyi DP 提供紧密的隐私分析，并证明了 Fed-SMP 收敛性，通过实验数据证明了 Fed-SMP 提高了模型准确性并同时节省通信成本。

Feb, 2022

该论文提出了使用随机投影进行类别嵌入的保护隐私联邦学习 IPFed 方法，旨在解决现有方法在隐私保护和高准确性方面的困难，并证明其具备与最先进方法相当的学习能力。通过在人脸图像数据集上的实验证明，IPFed 能够在保护个人数据隐私的同时保持最先进方法的准确性。

May, 2024

使用 DP-SGD 算法对大型嵌入模型进行隐私训练时，为了维持梯度稀疏性，我们提出了两个新算法 DP-FEST 和 DP-AdaFEST，能够在保持相当准确性的同时，实现梯度大小的大幅度降低（$10^6 imes$）。

Nov, 2023

移动设备、隐私、实用性、联邦学习和差分隐私是该研究的主要关键词，研究通过在联邦学习中采用差分隐私的实验环境并使用基准数据集来探讨隐私与实用性之间的平衡问题。

Nov, 2023

在这项工作中，我们通过图像字幕和扩大到互联网规模的多模态数据集，通过一系列的工程技巧，成功地从头开始训练了一个差分隐私图像字幕生成器（DP-Cap），并获得了前所未有的高质量图像特征，可用于各种下游视觉和视觉语言任务。

Mar, 2024

我们介绍一种新颖的联邦学习框架 FedCEO，通过让客户端相互合作，在模型效用和用户隐私之间取得平衡，实现了严格的隐私保障。我们在服务器上对堆叠的本地模型参数进行高效的张量低秩近似优化，并使用光谱空间灵活截断高频分量，从而有效地恢复被破坏的语义信息并对不同隐私设置和持续训练过程平滑全局语义空间，同时改进了最先进的效用 - 隐私折衷边界。我们通过对典型图像数据集进行实验证实了我们的理论结果，在不同隐私设置下观察到显著的性能提升和严格的隐私保证。

Feb, 2024