ICLRFeb, 2021

隐私保护不应妨碍效用：梯度嵌入扰动实现隐私学习

PDF
TL;DR本文提出了一种算法 Gradient Embedding Perturbation（GEP），针对训练深度学习模型时巨大的可训练参数导致 Differential Privacy（DP）机制失效的问题，通过将个体私有梯度投影到非敏感锚定子空间，并将低维梯度嵌入和小范数残差梯度分别按照隐私预算扰动，以使扰动方差保持小，从而在保持合理隐私保障的同时，实现了高精度的训练（特别是在 CIFAR10 和 SVHN 数据集上）达到了 74.9% 和 95.1% 的测试精度）。
differential privacydeep learninggradient embedding perturbationprivacy guaranteeaccuracy
发现论文，激发创造
  • 低秩再参数化实现大规模私有学习

    本文提出了一种再参数化方案来解决在大型神经网络上应用差分隐私 SGD 所面临的巨大存储成本与附加噪声的问题，该方案使用梯度承载矩阵和残差权重矩阵重构每个权重矩阵，并设计了基于梯度承载矩阵上的梯度扰动算法，成功地在 BERT 模型上实现了差分隐私且准确率损失低于 5%

    Jun, 2021

  • 本地差别隐私图嵌入

    本研究提出了一种名为 LDP-GE 的隐私保护图嵌入框架，通过局部差分隐私机制对节点数据进行模糊处理，并采用个性化 PageRank 作为节点表示的相似度度量，理论分析和实验证明 LDP-GE 在节点分类和链接预测任务中具有良好的隐私和效用平衡，并显著优于现有方法。

    Oct, 2023

  • 使用用户级差分隐私学习生成图像嵌入

    本文提出一种名为 DP-FedEmb 的联邦学习算法改进版本，用于训练大规模图像到嵌入特征提取器模型，包含虚拟客户端、部分聚合、私有本地微调和公共预训练等技术，能在相同的隐私预算下实现强隐私效用平衡，并且在 DigiFace、EMNIST、GLD 和 iNaturalist 数据集上展示了其卓越的效用性能。

    Nov, 2022

  • 大规模嵌入模型的稀疏保持差分私有训练

    使用 DP-SGD 算法对大型嵌入模型进行隐私训练时，为了维持梯度稀疏性，我们提出了两个新算法 DP-FEST 和 DP-AdaFEST，能够在保持相当准确性的同时，实现梯度大小的大幅度降低（$10^6 imes$）。

    Nov, 2023

  • 梯度扰动在差分隐私凸优化中的价值被低估了

    本文探讨梯度扰动在差分私有性上优劣的影响。我们发现在不同凸优化问题中，期望曲率可更好地决定噪声扰动的实际效果，而不是最小曲率。进一步实验表明使用高级组合方法的梯度扰动比其他扰动方法表现更好。

    Nov, 2019

  • 超越平均数：差分隐私原型的私有转移学习

    通过利用已公开训练的编码器从私有数据中提取特征并生成代表嵌入空间中每个私有类的差异化隐私原型，DPPL 提供了高效预测和强隐私保证，即使在纯差分隐私概念下，也能在高隐私和低数据环境以及私有训练数据不平衡时表现出优秀性能。

    Jun, 2024

  • 大规模隐私保护网络嵌入：针对私有链路推断攻击

    本文提出了一种针对保护隐私的网络嵌入方法，使用干扰原始网络的方式来减少泄漏隐私链接的风险，并通过量化隐私增益和效用丢失来确定最佳干扰方案，以获得最优的隐私效用权衡。

    May, 2022

  • PEARL: 私有嵌入和对抗重构学习合成数据

    使用深度生成模型在不泄露敏感数据的情况下进行数据生成和训练。该方法通过独立的特征函数和对抗重新加权目标实现，并且在多个数据集上的实证评估表明，在合理的隐私级别下，我们的方法优于其他方法。

    Jun, 2021

  • 改善差分隐私线性学习器的目标扰动的隐私性和实用性

    在隐私保护机器学习领域中，差分隐私随机梯度下降（DP-SGD）已经超过了目标扰动机制在流行度和兴趣方面。这篇论文通过更严格的隐私分析和新的计算工具对目标扰动机制进行改进，使其在无约束的凸广义线性问题上能够与 DP-SGD 具有竞争力。

    Dec, 2023

  • 独立分布正则化用于私密图嵌入

    通过引入独立分布惩罚作为正则化项，我们提出了一种名为私有变分图自编码器（PVGAE）的新方法，特别地，我们通过使用两组编码器来学习敏感和非敏感潜在表示，同时引入了一种新的正则化方法来强制编码器的独立性，实验证明 PVGAE 在私有嵌入学习方面优于其他基线，并在效用性能和隐私保护方面取得了成功。

    Aug, 2023