从私有化数据中训练生成模型
本文通过在学习过程中添加特别设计的梯度噪声来实现差分隐私的生成对抗网络(DPGAN),以解决 GAN 在应用于私人或敏感数据时可能泄露关键信息的问题,并提供隐私保障的严格证明和全面的实证证据。
Feb, 2018
我们提出了一个基于图神经网络的学习框架,该框架可以在用户层面提供节点隐私,并且在损失效用性方面表现较低。我们使用分布式隐私保护的概念,并在节点水平对特征和标签数据应用随机化机制,在数据被中央服务器收集用于模型训练之前进行扰动。通过随机化数据的统计分析中的频率估计,我们开发了重构方法来逼近扰动数据的特征和标签。我们还形成了利用图聚类的频率估计来在子图层面监督训练过程的学习框架。在真实数据集和半合成数据集上进行了大量实验,证明了我们提出模型的有效性。
Sep, 2023
本文提出了一种隐私保护的分布式深度学习框架 LDP-DL, 通过使用本地差分隐私和知识蒸馏进行模型训练。实验结果表明,在三个常用深度学习数据集 (CIFAR10, MNIST, FashionMNIST) 上的实验中,LDP-DL 在隐私预算和模型准确性方面均优于其他竞争对手。
Feb, 2022
本文探讨了使用具有随机性生成模型的方法来实现隐私保护数据生成,通过将深度模型的连续模数限制在适当的范围内以获得隐私保护,并实验证明了其有效性。
Apr, 2023
利用不同隐私保护方法在深度神经网络上进行私密训练,以实现维度较高的数据生成,并提出统一的方法以提供系统性的派生方法,满足不同用例的需求,探讨不同方法之间的优势、限制和内在相关性以启发未来研究,并提出前进的潜在途径以推动隐私保护学习领域的发展。
Sep, 2023
使用全局差分隐私的方法,通过训练生成式语言模型并从中采样数据来保护数据分享者的隐私,并通过新的匹配损失设计自然语言提示,得出高质量的文本数据集,这些数据集不仅不会泄露原始数据的信息,而且还适合训练用于分析真实世界数据的模型,同样证明基于私有合成数据训练分类器的性能优于直接基于真实数据使用 DP-SGD 进行训练。
Oct, 2022
通过引入一种新的剪辑和扰动策略,基于 Renyi 差分隐私监管机制,提出了一种差分隐私条件生成式对抗网络(DP-CGAN)训练框架,用于在保持培训数据隐私的同时提高模型性能,实验结果表明 DP-CGAN 可以通过单一的差分隐私 epsilon 参数在 MNIST 数据集上生成视觉和实验上有前途的结果。
Jan, 2020
该文探讨了在深度学习模型中如何保护训练数据的隐私,比较了不同优化方法对模型性能、训练效果和隐私攻击的影响,并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。
Sep, 2022
本研究提出使用差分隐私的方法保护网络结构数据的隐私,通过注入适当的噪音以保证边隐私,改善结构学习,同时提高结构导向图的鉴别度,提高数据效用和保护个体链接隐私。通过在两个现实世界网络数据集上进行的广泛实验表明,我们的 DP-GGAN 模型能够有效地保护个体链接隐私并生成具有全局结构的图形数据。
May, 2020