通过差分隐私、联邦学习和差分隐私联邦学习的大型预训练文档基础模型，我们介绍了开发私有键信息提取（KIE）系统的策略。通过在六个基准数据集上的广泛实验，我们证明了大型文档基础模型可以在私有环境下进行有效微调，以实现足够的性能并保持强大的隐私保证。最后，我们引入了一种名为 FeAm-DP 的新型 DP-FL 算法，它能够将全局差分隐私从独立环境有效地扩展到多客户联邦环境。总体而言，我们的研究为私有 KIE 系统的开发提供了宝贵的见解，并凸显了文档基础模型在隐私保护文档 AI 应用中的潜力。

Oct, 2023

DEEProtect 是一种隐私保护框架，它采用新颖的自编码器技术对个人传感器数据进行数据最小化和特征混淆，实现对移动应用程序对用户敏感数据和行为推理的限制。

Feb, 2017

使用联邦学习和差分隐私技术来保护隐私，同时采用 PEU、LoRA 和 NCE 等技术来降低大模型的噪声和内存需求，从而成功地在计算受限设备上训练大词汇量的语言模型。

Jul, 2022

研究了如何在严格保护隐私的情况下，利用梯度信息来选择有利于模型训练的数据，解决在协同训练深度学习模型中，难以区分出有用数据点的问题。

May, 2023

本文提出了一种隐私保护技术，即 PEEP，该技术可对面部图像进行扰动以防止生物特征泄漏，并利用局部差分隐私的方法在第三方服务器上运行 Eigenface 识别算法。实验结果表明，PEEP 在标准隐私设置下的分类准确率约为 70％-90％。

May, 2020

预训练的基础模型经差分隐私微调可在下游任务中实现接近非隐私分类器的准确性，并且在四个数据集中实现与非隐私技术的准确性相差不多，包括两个医学成像基准数据集。此外，我们的隐私医学分类器在不同人口群体之间没有更大的性能差异。此里程碑使得差分隐私训练成为一项实用且可靠的技术，有潜力广泛应用于敏感数据的安全机器学习训练，同时保护个人隐私。

Aug, 2023

通过研究选择性分类器在差分隐私约束下的效果，探讨深度学习模型的可靠性及隐私泄漏问题，发现最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适，使用差分隐私不仅会降低模型的效能，而且在隐私预算降低时需要付出相当大的覆盖成本。

May, 2023

利用 API 来生成差分隐私合成数据的方法（DPSDA），不需要模型训练，通过 Private Evolution（PE）框架解决了这个问题，在 synthetic images 取得了很好的效果，同样适用于处理像 Stable Diffusion 这样的大型基础模型。

May, 2023

本文研究了垂直联邦学习在数据隐私和任务效用目标之间的微妙平衡，并提出了一种灵活而通用的方法来解决这个问题。通过对共享特征嵌入进行规范剪裁，我们首先得出了严格的隐私保证，接下来通过对特征嵌入的规模和分布进行自适应调整，我们还优化了任务效用，同时不损害建立的差分隐私机制。通过大量实验证明了我们提出的 VFL-AFE 框架能有效抵御隐私攻击并保持有利的任务效用。

Jul, 2023

本文提出一种名为 DP-FedEmb 的联邦学习算法改进版本，用于训练大规模图像到嵌入特征提取器模型，包含虚拟客户端、部分聚合、私有本地微调和公共预训练等技术，能在相同的隐私预算下实现强隐私效用平衡，并且在 DigiFace、EMNIST、GLD 和 iNaturalist 数据集上展示了其卓越的效用性能。

Nov, 2022