高效计算私有数据的相似性

ICLRMar, 2024

Efficiently Computing Similarities to Private Datasets

Arturs Backurs, Zinan Lin, Sepideh Mahabadi, Sandeep Silwal, Jakub Tarnawski

TL;DR给定一个相似度函数和一个大型高维私有数据集，输出近似表示任意查询的总和的差分隐私数据结构。在核函数和距离函数等情况下，我们的理论结果改进了先前的研究，并提供了更好的隐私 - 效用权衡和更快的查询时间。实验表明，基于平均相似性进行分类的简单方法比基于 DP-SGD 的方法更快且准确性相当。

Abstract

Many methods in differentially private model training rely on computing the similarity between a query point (such as public or synthetic data) and private data. We abstract out this common subroutine and study the following fundamental algorithmic problem: Given a →

differentially private model training similarity function differential privacy kernel function distance function

发现论文，激发创造

梯度看起来相似：DP-SGD 中的敏感性经常被高估

本文发展了一种新的 DP-SGD 分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

Jul, 2023

差分隐私的数值组成

提供了一种快速算法，可以将差分隐私算法的隐私保证优化到任意精度，并使用隐私损失随机变量的概念来量化差分隐私算法的隐私损失，该算法可以加速隐私计算几个数量级同时保持类似的准确性。

Jun, 2021

扰动和投影：差分隐私的相似性和边际

重新审视了差分隐私的输入扰动框架，介绍了有效算法用于保护隐私的发布余弦相似度和计算多特征边际查询，扩展结果适用于稀疏数据集，提供理论视角解释快速输入扰动算法在实践中的良好表现。

Jun, 2024

高斯差分隐私

本文提出 $f$- 差分隐私，一种新的隐私松弛定义，避免了使用发散松弛的一些困难，并支持隐私定义的组合和代数推理。同时，作者通过介绍高斯差分隐私，一个基于测试两个移动高斯函数的 $f$- 差分隐私的单参数家族，并通过数学证明和计算机实验了演示工具，进一步完善并解决了隐私数据分析的问题。

May, 2019

非可分目标函数的 DP-SGD

使用新的 DP-SGD 变体解决相似性损失函数的梯度敏感度随着批量大小增长而增加的问题，并在 CIFAR-10 预训练和 CIFAR-100 微调任务中得到了与非私有模型接近甚至优于直接应用于相似性损失的 DP-SGD 的性能。

Oct, 2023

利用公共数据的最优差分隐私学习

利用公共数据改善差分隐私模型的训练效果的方法。

Jun, 2023

通过 $f$- 差分隐私统一增强混合机制的隐私边界

该研究聚焦于利用 f-DP 改进随机初始化的洗牌模型和一次迭代的差分隐私梯度下降（DP-GD）算法的隐私界限，并得到了洗牌模型的交替函数的闭式表达式，同时研究了随机初始化对于 DP-GD 的隐私影响。

Oct, 2023

私人候选人的私人选择

本文考虑了在对候选项稳定性更弱的情况下，即评分函数是差分隐私的情况下的选择问题。我们提供了算法，在隐私、效用和计算效率等三个方面都是最优的。同时，我们还开发了在线版本和基于稀疏向量技术的通用性算法。这些算法在差分隐私机器学习中的超参数选择以及自适应数据分析中都有更好的表现。

Nov, 2018

基于共识算法的差分隐私分散深度学习

本研究提出了一种基于不同隐私的分散式深度学习方法，该方法对协作学习的数据进行隐私保护，保障节点之间数据的安全交换。实验结果表明，在稀疏图和不均匀数据分布下，不同隐私梯度跟踪具有抗干扰性，并且可在不向其他代理共享原始数据的情况下学习高准确性模型。

Jun, 2023

基于公共数据的差分隐私学习的 Oracle 高效实现

通过利用公共数据来提高私人学习算法的性能，本研究提出了第一种具有计算有效性的算法，以确保在满足与私人样本相关的差分隐私的同时，当私人数据分布足够接近公共数据时也能保证学习效果，并且在函数类可非私密学习时可进行私人学习的证明。

Feb, 2024