连接随机梯度 MCMC 和差分隐私

Dec, 2017

On Connecting Stochastic Gradient MCMC and Differential Privacy

Bai Li, Changyou Chen, Hao Liu, Lawrence Carin

TL;DR本文介绍一种新的机器学习算法，称为随机梯度马尔科夫链蒙特卡罗（SG-MCMC），可在不牺牲隐私的情况下提高算法的准确性。该算法是在差分隐私框架下提供了一个简单和优雅的解决方案来保护训练数据的隐私，并且比现有算法具有更好的性能。

Abstract

Significant success has been realized recently on applying machine learning to real-world applications. There have also been corresponding concerns on the privacy of training data, which relates to data security

machine learning privacy differential privacy sg-mcmc bayesian learning

发现论文，激发创造

免费隐私：后验采样和随机梯度 Monte Carlo

本文提出了一种使用差分隐私技术保证贝叶斯学习个体隐私安全的算法，采样自后验分布得出的估计符合要求，同时随机梯度下降方法也可以达到类似效果，是较好的解决贝叶斯学习隐私问题的方法。

Feb, 2015

不是所有的噪声都是相同计算的：不同隐私学习从大样本率中受益

本文着重研究了隐私预算的问题，提出了一套训练范式，通过调整噪声比例，使更多的噪声能被纳入隐私预算，从而在保护隐私和维护计算效用之间提供一种更好的平衡方案。

Oct, 2021

机器学习的贝叶斯差分隐私

提出了基于贝叶斯的差分隐私方法，并实验表明基于样本数据分布的隐私保护方法比传统方法更实用有效。

Jan, 2019

非共轭模型的差分隐私变分推断

本文提出一种差分隐私变分推理方法，该方法基于双重随机变分推理，并通过剪辑和扰动梯度来加入差分隐私，并通过子采样来增加隐私保护的效率。该方法在强隐私保证下的准确性接近于非私密级别，是以前基于抽样方法的替代品的明显改进。

Oct, 2016

基于共识算法的差分隐私分散深度学习

本研究提出了一种基于不同隐私的分散式深度学习方法，该方法对协作学习的数据进行隐私保护，保障节点之间数据的安全交换。实验结果表明，在稀疏图和不均匀数据分布下，不同隐私梯度跟踪具有抗干扰性，并且可在不向其他代理共享原始数据的情况下学习高准确性模型。

Jun, 2023

关于利用差分隐私和经典正则化技术进行优化的效用与保护

该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。

Sep, 2022

隐私保护数据的条件密度估计

在该研究中，我们提出了基于模拟的隐私保护数据集推理方法，利用神经条件密度估计器近似后验分布，纠正隐私保护机制引入的偏差，并展示了隐私与效用之间的权衡的必要性和可行性。

Oct, 2023

采样高斯机制的 Rényi 差分隐私

通过数值计算和密度提升实现了对 SGM（Sampled Gaussian Mechanism）的精确计算，进一步探究了其隐私性质。

Aug, 2019

基于纯差分和高斯差分隐私的可处理的 MCMC 私密学习

提出了一种使用后验抽样和近似采样方法相结合的算法，通过引入噪声来保持隐私性，并结合局部化步骤，在 DP-ERM 问题中实现了最佳的速率。

Oct, 2023

高斯差分隐私深度学习

本文研究了深度学习中隐私方面的问题，提出了一种新的隐私定义 ——f - 差分隐私，并利用其可处理复合和子采样的性质，推导出了一种更简单的隐私分析方法。在图像分类、文本分类和推荐系统等任务中的实验结果表明，该方法可以在保证隐私的前提下提高神经网络的预测准确率。

Nov, 2019