DP-MERF: 带有随机特征的差分隐私均值嵌入，用于实际隐私保护数据生成

Feb, 2020

DP-MERF: 带有随机特征的差分隐私均值嵌入，用于实际隐私保护数据生成

DP-MERF: Differentially Private Mean Embeddings with Random Features for Practical Privacy-Preserving Data Generation

Frederik Harder, Kamil Adamczewski, Mijung Park

TL;DR利用随机特征表示的核均值嵌入，提出一种差分隐私数据生成模型，可最小化深度生成模型的隐私成本，并在生成器训练期间重复使用此模型，从而显着提高隐私效用平衡度。

Abstract

We propose a differentially private data generation paradigm using random feature representations of kernel mean embeddings when comparing the distribution of true data with that of synthetic data. We exploit the

differential privacy data generation random feature representations deep generative models kernel mean embeddings

发现论文，激发创造

PEARL: 私有嵌入和对抗重构学习合成数据

使用深度生成模型在不泄露敏感数据的情况下进行数据生成和训练。该方法通过独立的特征函数和对抗重新加权目标实现，并且在多个数据集上的实证评估表明，在合理的隐私级别下，我们的方法优于其他方法。

Jun, 2021

使用用户级差分隐私学习生成图像嵌入

本文提出一种名为 DP-FedEmb 的联邦学习算法改进版本，用于训练大规模图像到嵌入特征提取器模型，包含虚拟客户端、部分聚合、私有本地微调和公共预训练等技术，能在相同的隐私预算下实现强隐私效用平衡，并且在 DigiFace、EMNIST、GLD 和 iNaturalist 数据集上展示了其卓越的效用性能。

Nov, 2022

隐私保护不应妨碍效用：梯度嵌入扰动实现隐私学习

本文提出了一种算法 Gradient Embedding Perturbation（GEP），针对训练深度学习模型时巨大的可训练参数导致 Differential Privacy（DP）机制失效的问题，通过将个体私有梯度投影到非敏感锚定子空间，并将低维梯度嵌入和小范数残差梯度分别按照隐私预算扰动，以使扰动方差保持小，从而在保持合理隐私保障的同时，实现了高精度的训练（特别是在 CIFAR10 和 SVHN 数据集上）达到了 74.9% 和 95.1% 的测试精度）。

Feb, 2021

超越平均数：差分隐私原型的私有转移学习

通过利用已公开训练的编码器从私有数据中提取特征并生成代表嵌入空间中每个私有类的差异化隐私原型，DPPL 提供了高效预测和强隐私保证，即使在纯差分隐私概念下，也能在高隐私和低数据环境以及私有训练数据不平衡时表现出优秀性能。

Jun, 2024

面向差分隐私的文本表示

该研究开发了一个基于非受信任服务器设置的深度学习框架，包括三个模块：嵌入模块、随机化模块和分类器模块，并提出了一种新的本地差分隐私协议，以减小隐私参数 epsilon 对准确性的影响，提高随机化概率的灵活性。分析和实验表明，该框架可提供与非隐私框架和现有 LDP 协议相当甚至更好的性能，展示了该 LDP 协议的优势。

Jun, 2020

LDP-Feat：带有局部差分隐私的图像特征

现代计算机视觉服务经常要求用户与不受信任的服务器共享原始特征描述符，这带来隐私风险，为解决此问题，研究人员最近提出了通过将图像特征嵌入一个仿射子空间中从而使其包含原始特征及对抗特征样本来实现特征私有化。本文提出了两种新的反演攻击方法，证明从这些嵌入中可以（近似地）恢复原始图像特征，从而能够恢复敏感的图片内容。鉴于这样的成功和现有视觉隐私方法缺乏理论上的隐私保证，我们进一步提出了第一个通过局部差分隐私来实现图像特征私有化的方法，不同于先前的方法，该方法提供了一个隐私泄露的保证边界，无论攻击的强度如何。此外，我们的方法在视觉定位作为下游任务中表现出很强的性能，并享有隐私保证。

Aug, 2023

差分隐私经验风险最小化

本研究提出了一个隐私保护的机器学习算法，基于差分隐私定义，首先将 Dwork 等人的输出扰动思想应用于 ERM 分类，然后通过扰动目标函数来设计一个新的 objective perturbation 方法，对于满足某些凸性和可微性条件的损失函数和正则化方法，我们证明了我们的算法可以保护隐私，并提供线性和非线性核的泛化界，同时我们提供了一种隐私保护的技术来调整通用机器学习算法的参数，从而为训练过程提供了端到端的隐私保证。实验结果表明，与输出扰动方法相比，我们的 objective perturbation 方法在处理隐私保护和学习性能间的固有权衡方面更加卓越。

Dec, 2009

大规模嵌入模型的稀疏保持差分私有训练

使用 DP-SGD 算法对大型嵌入模型进行隐私训练时，为了维持梯度稀疏性，我们提出了两个新算法 DP-FEST 和 DP-AdaFEST，能够在保持相当准确性的同时，实现梯度大小的大幅度降低（$10^6 imes$）。

Nov, 2023

基于高效用度度量的差分隐私文本技术

本研究提出了一种新的方法：Truncated Exponential Mechanism（TEM），允许使用任何距离度量来对语言表示进行数据隐私转化，并在对该方法进行实证比较时发现，在保障数据隐私的同时，能够提供更大的度量选择自由度和更好的实验效用。

Jul, 2021

私有合成数据的迭代方法：统一框架和新方法

本文旨在研究关于隐私合成数据生成的算法框架，提出了两种新的算法：私有熵投影（PEP）和具有指数机制的生成网络（GEM），这些算法表现出比现有算法更好的性能。

Jun, 2021