NIPSDec, 2018

实用差分隐私的三种工具

PDF
TL;DR在实际数据中进行差分隐私学习存在挑战：隐私保证难以解释，对私有数据进行的超参数调整会降低隐私预算，通常需要进行特殊的隐私攻击来测试模型的隐私性。本文提出了三种工具来使差分隐私机器学习更加实用：（1）可在训练前以集中方式进行的简单的健全性检查，（2）自适应裁剪边界来减少可调隐私参数的有效数量，（3）大批量训练可以提高模型性能。
differentially private learningmachine learningprivacyhyperparameter tuninglarge-batch training
发现论文，激发创造
  • 深度学习与差分隐私

    本论文提出新的算法技术，包括隐私成本的细化分析，并在差分隐私框架下进行。 实验结果表明：我们可以在较小的隐私成本下训练具有非凸目标的深度神经网络，而且在软件复杂性、训练效率和模型质量上具有可管理的成本。

    Jul, 2016

  • 对抗实例化：差分隐私机器学习的下界

    本文针对 DP-SGD，即差分隐私下的随机梯度下降算法，采用对手模型来探究不同的对手能力对于隐私分析的影响，并计算了隐私保护的下限。实验结果表明，现实情况下的对手能力限制显著影响了隐私的泄露程度，这说明已有理论上的隐私上限过于保守。

    Jan, 2021

  • 深度学习差分隐私模型发布

    提出了一种基于集中差分隐私的神经网络训练方法，通过动态隐私预算分配和新的优化技术来提高模型准确性、训练效率和隐私保护能力。

    Apr, 2019

  • 迭代训练程序添加差分隐私的一般方法

    本文介绍了一种模块化方法，可以最小化对训练算法的更改，提供各种隐私机制的配置策略，并隔离和简化计算最终隐私保证的关键逻辑，以解决在隐私敏感数据集上训练机器学习模型所面临的实际挑战。

    Dec, 2018

  • 训练知道自己不知道什么的私有模型

    通过研究选择性分类器在差分隐私约束下的效果，探讨深度学习模型的可靠性及隐私泄漏问题，发现最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适，使用差分隐私不仅会降低模型的效能，而且在隐私预算降低时需要付出相当大的覆盖成本。

    May, 2023

  • 具有差分隐私的模型解释

    使用差分隐私机制构建基于特征的模型解释，降低解释数据隐私泄露，评估差分隐私模型及其隐私机制对模型解释质量的影响。

    Jun, 2020

  • 机器学习的贝叶斯差分隐私

    提出了基于贝叶斯的差分隐私方法，并实验表明基于样本数据分布的隐私保护方法比传统方法更实用有效。

    Jan, 2019

  • 差分隐私和机器学习：调查和评论

    本文讨论了机器学习和差分隐私之间的相互作用，即隐私保护机器学习算法和基于学习的数据发布机制，探讨了可以通过差分隐私进行学习的内容以及差分隐私算法的损失函数上限。同时提出了一些开放性问题，包括如何整合公共数据，如何处理私人数据集中的缺失数据，以及当观察样本数量任意增大时，是否可以实现差分隐私机器学习算法而无需牺牲相关算法的效用成本。

    Dec, 2014

  • 审计差分隐私机器学习：隐私难道不够隐私？(Auditing Differentially Private Machine Learning: How Private is Private SGD?)

    我们使用新的数据污染攻击研究不同 ially Private SGD 的隐私保护是否比其最先进的分析保证更好，并量化实现差异隐私算法提供的隐私保护，以便在分析隐私的工作上实现补充和影响。

    Jun, 2020

  • 经验机器学习的差分隐私算法

    本文提出了一种基于差分隐私的算法，用于处理实际应用中的分类问题及测试过程中的评估，包括特征选择和 ROC 曲线。

    Nov, 2014