学习差分私有而准确的规则列表的平滑灵敏度

Mar, 2024

学习差分私有而准确的规则列表的平滑灵敏度

Smooth Sensitivity for Learning Differentially-Private yet Accurate Rule Lists

Timothée Ly, Julien Ferry, Marie-José Huguet, Sébastien Gambs, Ulrich Aivodji

TL;DR通过建立基尼不纯度的平滑敏感性并利用其提出差分隐私贪婪规则列表算法，实验结果证明，整合平滑敏感性的差分隐私规则列表模型比基于全局敏感性的其他差分隐私框架具有更高的准确性。

Abstract

differentially-private (DP) mechanisms can be embedded into the design of a machine learningalgorithm to protect the resulting model against privacy leakage, although this often comes with asignificant loss of accuracy. In this paper, we aim at improving this trade-off for rule lists m

differentially-private machine learning algorithm privacy leakage rule lists models smooth sensitivity

发现论文，激发创造

增量再平滑：将差分隐私与认证鲁棒性相结合

通过 DP-CERT 框架结合随机平滑技术和差分隐私模型训练，同时提供隐私和认证鲁棒性，从而在 CIFAR10 数据集上显著提高了模型的认证准确性和认证半径。

Jun, 2023

使用混合自动微分进行差分隐私机器学习的灵敏度分析

介绍了一种新的混合自动微分系统，可用于推理隐私损失，并进一步开发自动灵敏度分析和隐私预算系统，在统计数据库查询和 DP 神经网络的训练中具有良好的应用前景。

Jul, 2021

梯度看起来相似：DP-SGD 中的敏感性经常被高估

本文发展了一种新的 DP-SGD 分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

Jul, 2023

差分隐私对模型准确性影响不一

本文研究的 DP-SGD 算法在训练神经网络时，由于梯度裁剪和噪声加法等机制对复杂和少数类样本的影响更大，造成训练模型的准确率不公平，使 DP-SGD 算法不适用于存在不平衡类别数据的训练任务。

May, 2019

训练知道自己不知道什么的私有模型

通过研究选择性分类器在差分隐私约束下的效果，探讨深度学习模型的可靠性及隐私泄漏问题，发现最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适，使用差分隐私不仅会降低模型的效能，而且在隐私预算降低时需要付出相当大的覆盖成本。

May, 2023

差分隐私锐度感知训练

本文探讨了在进行差分隐私训练时，模型性能的降级问题，并提出了一种新的训练方法来缓解隐私和优化之间的权衡，实验证明该方法可以改善模型的性能。

Jun, 2023

无痛随机差分隐私与灵敏度采样

通过采样器估计非私有机制的敏感性，可以自动实现随机差分隐私，避免了全局敏感度的计算复杂性，并在黑盒计算机程序中实现更精确的发布，采用自然放松的隐私保证。

Jun, 2017

使用平滑敏感度的差分隐私随机决策森林

提出了一种新的差分隐私决策树集成学习算法，在保护隐私的前提下，通过集成学习、指数机制等方法，显著提高了预测能力。

Jun, 2016

DPMLBench：差分隐私机器学习的整体评估

我们通过对改进的 DPML 算法的效用和防御能力对成员推断攻击进行了整体度量，在图像分类任务中我们首次提出了具有机器学习生命周期其中改进的分类法的分类体系。我们通过使用实验来表明了 DP 能够有效地抵御成员推断攻击，并且敏感性绑定技术，如每个样本梯度剪辑，在防御中起着重要作用。标签 DP 算法可以实现较小的效用损失，但对攻击十分脆弱。我们的研究结果可以支持数据拥有者使用 DPMLBench 部署 DPML 算法，并作为研究人员和实践者的基准工具。

May, 2023

带权重剪枝的 DP-SGD

通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。

Oct, 2023