Jul, 2023

特征预处理对差分隐私线性优化的重要性

PDF
TL;DR用差分隐私训练机器学习模型的方法在近年来受到越来越多的关注。我们通过研究线性分类的简单案例，首次展示出在差分隐私优化中，除了使用差分隐私随机梯度下降算法（DPSGD）外，特征预处理对于优化结果的重要性。我们提出了一种名为 DPSGD-F 的算法，结合了 DPSGD 和特征预处理，并证明了对于分类任务，它的隐私误差与特征的直径成正比。我们还通过图像分类基准测试展示了我们算法的实用性。
differential privacymachine learning modelsdifferentially private stochastic gradient descentfeature preprocessingprivacy error
发现论文，激发创造
  • 关于利用差分隐私和经典正则化技术进行优化的效用与保护

    该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。

    Sep, 2022

  • 消除差异隐私随机梯度下降对模型准确性的不利影响

    本文针对机器学习中的差分隐私引入了『utility-privacy trade-off』，并提出了一种名为 DPSGD-F 的修改版随机梯度下降算法来消除差分隐私对受保护群体的不平等影响，具有『adaptive clipping』的特点。我们的实验证明了群体样本大小和群体剪辑偏差如何影响 DPSGD 中差分隐私的影响，以及 DPSGD-F 中如何采用自适应剪辑来减轻差分隐私造成的不平等影响。

    Mar, 2020

  • 私隐差分深度学习的高效可扩展训练

    差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP-SGD 实现和使用低精度进行训练，最后我们还研究了使用多达 80 个 GPU 的扩展行为。

    Jun, 2024

  • 归一化层对深度神经网络差分隐私训练的影响

    本文研究了标准梯度下降算法的隐私保护版本 DPSGD 中归一化层的影响，证明了在带有噪声参数的深度神经网络中归一化层显著地影响着其效用，提出了一种新的方法将批归一化与 DPSGD 集成起来，以获得更好的效用 - 隐私权衡。

    Jun, 2020

  • DP-Weights：让任何模型拥有差分隐私

    使用差分隐私和加噪声的方法对机器学习模型进行训练，通过对模型的权重添加噪声来实现隐私和效用的平衡，并通过实验证明了该方法的有效性，为在实际场景中部署差分隐私模型提供了一种实用的替代方案。

    Jun, 2024

  • 非可分目标函数的 DP-SGD

    使用新的 DP-SGD 变体解决相似性损失函数的梯度敏感度随着批量大小增长而增加的问题，并在 CIFAR-10 预训练和 CIFAR-100 微调任务中得到了与非私有模型接近甚至优于直接应用于相似性损失的 DP-SGD 的性能。

    Oct, 2023

  • 通过非私有预处理实现可证明的隐私

    通过引入 Smooth DP 和预处理算法的有界敏感性，提出了一个评估非私有数据依赖预处理算法额外隐私成本的通用框架，为多个数据依赖预处理算法（例如数据插补、量化、去重和主成分分析）与多个 DP 算法的组合提供明确的整体隐私保证。

    Mar, 2024

  • 梯度不对齐导致差异隐私的不平等影响

    本文研究机器学习中隐私性与公平性问题中，隐私增强技术可能会加剧模型中的不公平，导致数据中不同群体的差异性迅速增大；通过研究 DPSGD 不公平根源，本文提出一种新方法，通过防止 DPSGD 中梯度错位来降低不公平。

    Jun, 2022

  • 带权重剪枝的 DP-SGD

    通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。

    Oct, 2023

  • 不是所有的噪声都是相同计算的：不同隐私学习从大样本率中受益

    本文着重研究了隐私预算的问题，提出了一套训练范式，通过调整噪声比例，使更多的噪声能被纳入隐私预算，从而在保护隐私和维护计算效用之间提供一种更好的平衡方案。

    Oct, 2021