面向差分隐私的文本表示

SIGIRJun, 2020

Towards Differentially Private Text Representations

Lingjuan Lyu, Yitong Li, Xuanli He, Tong Xiao

TL;DR该研究开发了一个基于非受信任服务器设置的深度学习框架，包括三个模块：嵌入模块、随机化模块和分类器模块，并提出了一种新的本地差分隐私协议，以减小隐私参数 epsilon 对准确性的影响，提高随机化概率的灵活性。分析和实验表明，该框架可提供与非隐私框架和现有 LDP 协议相当甚至更好的性能，展示了该 LDP 协议的优势。

Abstract

Most deep learning frameworks require users to pool their local data or model updates to a trusted server to train or maintain a global model. The assumption of a trusted server who has access to user information is ill-suited in many applications. To tackle this problem, we develop a

deep learning privacy-preserving ldp protocol untrusted server randomization module

发现论文，激发创造

本地差别隐私图嵌入

本研究提出了一种名为 LDP-GE 的隐私保护图嵌入框架，通过局部差分隐私机制对节点数据进行模糊处理，并采用个性化 PageRank 作为节点表示的相似度度量，理论分析和实验证明 LDP-GE 在节点分类和链接预测任务中具有良好的隐私和效用平衡，并显著优于现有方法。

Oct, 2023

基于知识蒸馏的本地差分隐私分布式深度学习

本文提出了一种隐私保护的分布式深度学习框架 LDP-DL, 通过使用本地差分隐私和知识蒸馏进行模型训练。实验结果表明，在三个常用深度学习数据集 (CIFAR10, MNIST, FashionMNIST) 上的实验中，LDP-DL 在隐私预算和模型准确性方面均优于其他竞争对手。

Feb, 2022

图神经网络中的局部差分隐私：一种重建方法

我们提出了一个基于图神经网络的学习框架，该框架可以在用户层面提供节点隐私，并且在损失效用性方面表现较低。我们使用分布式隐私保护的概念，并在节点水平对特征和标签数据应用随机化机制，在数据被中央服务器收集用于模型训练之前进行扰动。通过随机化数据的统计分析中的频率估计，我们开发了重构方法来逼近扰动数据的特征和标签。我们还形成了利用图聚类的频率估计来在子图层面监督训练过程的学习框架。在真实数据集和半合成数据集上进行了大量实验，证明了我们提出模型的有效性。

Sep, 2023

深度学习中的本地差分隐私

该研究提出了一种名为 LATENT 的本地差分隐私算法，该算法通过将卷积神经网络架构分为卷积模块、随机化模块和全连接模块，并使用新的差分隐私协议实现随机化模块作为网络功能虚拟化隐私保护服务，在边缘 - 云协同中使得保护隐私的深度学习在物联网环境下更加实用。

Aug, 2019

使用用户级差分隐私学习生成图像嵌入

本文提出一种名为 DP-FedEmb 的联邦学习算法改进版本，用于训练大规模图像到嵌入特征提取器模型，包含虚拟客户端、部分聚合、私有本地微调和公共预训练等技术，能在相同的隐私预算下实现强隐私效用平衡，并且在 DigiFace、EMNIST、GLD 和 iNaturalist 数据集上展示了其卓越的效用性能。

Nov, 2022

超越平均数：差分隐私原型的私有转移学习

通过利用已公开训练的编码器从私有数据中提取特征并生成代表嵌入空间中每个私有类的差异化隐私原型，DPPL 提供了高效预测和强隐私保证，即使在纯差分隐私概念下，也能在高隐私和低数据环境以及私有训练数据不平衡时表现出优秀性能。

Jun, 2024

分布式欺诈预防系统中的局部差分隐私嵌入模型

全球金融犯罪活动推动了欺诈预防中对机器学习解决方案的需求。然而，由于对意外泄露和对抗性攻击的担忧，预防系统通常被独立地提供给金融机构，并且几乎没有数据共享的规定。我们在本文中提出了一个从隐私角度设计、在最近的 PETs 奖励竞赛中获奖的合作深度学习框架，用于欺诈预防。我们利用不同长度交易序列的潜在嵌入表示以及局部差分隐私来构建一个安全地通知外部托管的欺诈和异常检测模型的数据发布机制。我们在由大型支付网络捐赠的两个分布式数据集上评估了我们的贡献，并展示了对流行的推断时攻击的鲁棒性，以及类似于替代应用领域的效用 - 隐私权衡。

Jan, 2024

从私有化数据中训练生成模型

本文提出了一种基于局部差分隐私的生成对抗网络训练方法，通过熵正则化 Wasserstein 距离的组合使用来降噪数据分布，有效地缓解了正则化偏差和隐私噪声效应。

Jun, 2023

隐私与公平：信息混淆用于本地差分隐私的公平表示学习

通过引入信息瓶颈进行本地差分隐私的信息混淆方法，该研究旨在开发和分析一种理论框架，实现公平表示学习，并展示 LDP 随机化器在编码过程中提高公平性的能力。基于所提出的方法，我们进一步发展了一种同时实现 LDP 和公平性的变分表示编码方法，并通过广泛的实验验证了我们的理论结果，并展示了我们的方法在保持足够效用的同时能够实现 LDP 和公平性的能力。

Feb, 2024

安全数据共享的差分隐私语言模型

使用全局差分隐私的方法，通过训练生成式语言模型并从中采样数据来保护数据分享者的隐私，并通过新的匹配损失设计自然语言提示，得出高质量的文本数据集，这些数据集不仅不会泄露原始数据的信息，而且还适合训练用于分析真实世界数据的模型，同样证明基于私有合成数据训练分类器的性能优于直接基于真实数据使用 DP-SGD 进行训练。

Oct, 2022