- IJCAIPrivSGP-VR:差分隐私的方差减小随机梯度推送与紧致效用界
提出一种差分隐私的分布式学习方法 (PrivSGP-VR),利用随机梯度推进和方差缩减,保证每个节点的 (ε, δ)- 差分隐私,并在分布式设置中获得了亚线性收敛率,并实现与节点数成线性加速的效果。通过使用矩阵法进行优化,获得了最优化的迭代 - 使用函数机制的差分隐私对数 - 位置 - 尺度回归
该研究介绍了在 LLS 回归模型中引入差分隐私的差分隐私对数位置尺度回归(DP-LLS)模型,并通过功能机制将差分隐私融入 LLS 回归。研究证明了所提出的 DP-LLS 模型满足 epsilon - 差分隐私,并通过模拟和案例研究评估了该 - 关于差分隐私微调的收敛性:线性探测还是全面微调?
通过理论研究和实证评估,本文分析了差分隐私 fine-tuning 方法的训练动态,并探讨了顺序 fine-tuning 的现象及其对测试损失的影响,为过参数化神经网络中的差分隐私调优提供了理论洞见和隐私预算分配规则。
- 黎曼流形上的高斯差分隐私
我们在广义 Riemann 多概率下开发了一种先进的方法,该方法能够推广高斯差分隐私(GDP)到各个 Riemann 流形,通过利用几何分析中的 Bishop-Gromov 定理,我们提出了一种在带有有界 Ricci 曲率的 Riemann - 基于分区的差分隐私合成数据生成
我们的方法采用基于分区的方法来改善合成数据的质量和可用性,在限定的隐私预算下,我们的方法优于现有方法,因此是私人合成数据共享的首选。
- 分享与否:普通民众愿意为了提供差分隐私自然语言处理系统而接受哪些风险?
利用行为研究实验,研究确定实际参与者愿意共享的 epsilon 阈值,以确定涉及敏感文本数据的两个实际 NLP 场景的人们的行为。
- ICML局部差分隐私下伯努利奖励的汤普森抽样
本文研究了带本地差分隐私保证的多臂老虎机问题的遗憾最小化问题。作者提出了三种机制,分别为线性,二次和指数机制,并推导了每种机制下 Thompson Sampling 算法的随机遗憾边界。最后,本文通过模拟证明了不同机制在不同隐私预算下的收敛 - 使用输出特定和数据解析隐私配置文件探究 ML 模型的数据集级隐私转变
本文研究了衡量数据集上 DP 机制对模型隐私保护的能力的新指标 - 隐私覆盖度,并提出了使用该指标排名训练集中样本隐私的方法,进而使用观察到的邻域分布的不可区分性转换来选择 epsilon 值。
- 基于共识算法的差分隐私分散深度学习
本研究提出了一种基于不同隐私的分散式深度学习方法,该方法对协作学习的数据进行隐私保护,保障节点之间数据的安全交换。实验结果表明,在稀疏图和不均匀数据分布下,不同隐私梯度跟踪具有抗干扰性,并且可在不向其他代理共享原始数据的情况下学习高准确性模 - 方案:方差感知式隐私均值估计
提出了一种私有化适应噪声的算法(PLAN),用于独立从分布中取样的输入的均值估计问题,并且这一算法根据数据的形状调整噪声的形状以获得更好的效果,并在密度分布的集中假设下进行实验验证。
- 个体 Renyi 过滤器私有核最近邻预测
本文提出一种名为 Ind-KNN 的算法,用于不断变化的数据集中的差分隐私预测,可以控制每个用户的隐私预算,并可精确地测量每个用户的贡献量。该算法在多个视觉和语言任务上的实验结果表明,相对于现有的差分隐私预测方法,Ind-KNN 明显提高了 - 个性化隐私分配 —— 基于 DP-SGD 的方案
本文介绍了一种名为 IDP-SGD 的变体 DP-SGD 方法,它支持个性化隐私预算,旨在实现不同用户数据的个性化隐私保护,并通过提高隐私效益权衡的方法得到实证结果。
- ICLR语言模型差分隐私微调
本篇研究提供了更简单、更稀疏、更快速的算法来实现大规模预训练语言模型的差分隐私微调,在许多标准 NLP 任务上实现了最先进的隐私与实用性平衡。我们提出了一个元框架来解决这个问题,并在该领域中取得了最好的实用效果、隐私性、私有训练的计算和存储 - 不是所有的噪声都是相同计算的:不同隐私学习从大样本率中受益
本文着重研究了隐私预算的问题,提出了一套训练范式,通过调整噪声比例,使更多的噪声能被纳入隐私预算,从而在保护隐私和维护计算效用之间提供一种更好的平衡方案。
- 通过自适应投影实现差分隐私查询发布
提出了一种新的算法,用于发布对包括 k 路边际在内的非常大量的统计查询回答,该算法采用连续松弛的投影机制,使其在隐私数据集上回答查询并尝试找到最接近噪声回答的合成数据集,并通过不断适应地发现在其(松弛的)合成数据上具有高误差的查询,以达到节 - 应用于差分隐私深度学习的实用 Rényi 差分隐私隐私过滤器和计数器
本研究研究以 Rényi 差分隐私为视角的 DP 组合,通过证明一个更简单的复合定理并提供小型常量,从而使其足够实用,以应用于 DP 深度学习中进行在线噪声或批处理大小调整以提高模型准确性,在固定的总隐私损失内以停止微调模型以减少总隐私损失 - 差分隐私分位数
本文介绍一种使用指数机制实现差分隐私的算法,该算法可以在保护数据隐私的前提下同时估算出 $m$ 个分位数。在真实和合成数据上,该算法显著优于当前最先进的算法,并且依然具有足够的实用性。
- 具有差分隐私的模型解释
使用差分隐私机制构建基于特征的模型解释,降低解释数据隐私泄露,评估差分隐私模型及其隐私机制对模型解释质量的影响。
- 隐私保护的梯度提升决策树
本篇论文旨在研究如何提高 Gradient Boosting Decision Tree 模型的准确性,同时保持差分隐私强有力的保护措施。通过改进灵敏度限制和与树之间隐私预算的分配算法,该论文提出一种更有效的差分隐私 GBDT 训练算法,以 - 自适应每次迭代隐私预算的集中式差分隐私梯度下降
本文说明如何通过更加精心地分配每个迭代的隐私预算,从而改进基于梯度的算法,提高其对模型拟合的性能。