回归问题的最优无偏随机化方法与标签差分隐私

Dec, 2023

回归问题的最优无偏随机化方法与标签差分隐私

Optimal Unbiased Randomizers for Regression with Label Differential Privacy

Ashwinkumar Badanidiyuru, Badih Ghazi, Pritish Kamath, Ravi Kumar, Ethan Leeman...

TL;DR我们提出了一种新的标签随机化方法，用于在标签差分隐私（DP）约束下训练回归模型，并通过减少偏差来提高标签 DP 训练神经网络的隐私效用权衡的性能。

Abstract

We propose a new family of label randomizers for training regression models under the constraint of label differential privacy (DP). In pa

label randomizers regression models label differential privacy bias and variance neural networks

发现论文，激发创造

标签差分隐私下的深度学习

本研究提出了基于先验的随机反应算法 (RRWithPrior)，并将其应用于使用标签差分隐私（LabelDP）学习神经网络的场景中，可以在保证隐私的前提下提高模型的性能，在实验和理论分析中得到了验证。

Feb, 2021

利用向量逼近提高标签差分隐私的学习

我们提出了一种向量逼近方法，将每个标签转换成具有 K 个分量的随机向量，其期望值反映类别条件概率，该方法在理论上只略微下降，并通过实验证实了我们的理论分析和方法的实际性能。

May, 2024

基于分布鲁棒优化的差分隐私

本文利用分布式鲁棒优化技术，开发了一种机制设计模型，以实现最高准确度和隐私预选级别的非渐近和无条件最优性保证。

Apr, 2023

具有差分隐私的因果推断（聚类）结果

基于随机实验估计因果效应只有在参与者同意透露潜在敏感回应的情况下才可行。我们提出了一种新的差分隐私机制 “Cluster-DP”，通过利用数据的任何给定的聚类结构来实现更强的隐私保证和更低的方差损失，同时仍然允许因果效应的估计。

Aug, 2023

训练知道自己不知道什么的私有模型

通过研究选择性分类器在差分隐私约束下的效果，探讨深度学习模型的可靠性及隐私泄漏问题，发现最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适，使用差分隐私不仅会降低模型的效能，而且在隐私预算降低时需要付出相当大的覆盖成本。

May, 2023

个性化差分隐私的岭回归

个性化差分隐私机器学习：使用个人数据点隐私级别训练 Ridge 回归模型的方法 (PDP-OP)，在提供严格隐私保证和模型准确性的前提下，改善差分隐私中的隐私 - 准确性平衡。

Jan, 2024

通过影响函数评估本地差分隐私对效用损失的影响

我们提出了一种使用影响函数的方法来选择与允许的隐私 - 效用权衡最符合的隐私参数值，而无需进行大量的计算，例如广泛的模型训练和数据私有化。该方法适用于多种常见的随机化情景，并可以通过类别依赖的标签噪声校正方法来纠正由随机化引起的噪声。通过实证评估，我们展示了影响函数在二进制和多类别设置下，能够在特征和标签上应用随机响应时准确近似测试损失的真实变化情况，并且在应用噪声校正方法时具有较小的平均绝对误差。

Sep, 2023

真实线性回归

研究了如何在保护隐私的前提下，通过采用不同隐私保护机制和支付方案，解决线性模型和差分隐私计算会带来估计偏差的问题。

Jun, 2015

巨型数据集 ImageNet 规模下使用差分隐私进行训练

本文旨在探究如何使用差分隐私来训练机器学习模型，以 ImageNet 图像分类为例，展示如何使用方法和模型类型来让训练过程更好地进行。我们展示了一些方法，使我们能够使用 DP 来训练一个 ResNet-18，精度为 47.9％。虽然这比 “朴素” 的 DP 训练要好，但是离没有隐私的情况下的 75％精度还有很大的差距。

Jan, 2022

具有偏好反馈的差分隐私奖励估计

本研究探讨了在保护个体标注者隐私的同时，通过偏好反馈来估计奖励模型的问题，使用了基于参数的 Bradley-Terry-Luce (BTL) 模型，提供了关于奖励参数估计误差的上下界，以及在本地模型和中央模型下确保标签 - 隐私所需的额外成本，仿真结果验证了理论结果。

Oct, 2023