- 使用 KD 树实现差分隐私合成数据
提出了基于空间划分技术的差分隐私合成数据生成算法,可以保护数据隐私并生成与原始数据类似的数据,具有可解释性、透明性和可扩展性,并且在实验中表现出相比之前方法更优的效果。
- 利用大型语言模型生成私有合成文本
本文研究了使用敏感数据集生成新的差分隐私数据集作为替代方法,通过使用预先训练好的生成式语言模型并在敏感数据上进行私有调优,然后利用该模型可以产生差分隐私合成数据集,同时展示了训练目标及少调参数可提高合成数据的质量并与直接使用差分隐私训练下游 - 更好的隐私线性回归通过更好的隐私特征选择
本文提出了一种基于 Kendall 秩相关的差分隐私特征选择方法,扩展了不同隐私线性回归算法的适用性,并证明了在特征正态分布时的效用保证。经过对 25 个数据集的实验,发现在回归之前添加此私有特征选择步骤显著地提高了 “即插即用” 隐私线性 - 隐私保证的自适应误发现率控制
本文提供了一种不同 ially private AdaPT 控制方法,它可以在隐私保护下确切地控制经典的 FDR 指标,同时保证了误发现的小部分,其基于两个关键的 insights:1)一种新颖的 p 值转换方法,可以保护隐私和镜像保守性, - 不剪辑的 DP-SGD:利普希茨神经网络之路
本文介绍利用限制 Lipschitz 常数的深度神经网络训练,通过对每层的参数进行 Lipschitz 常数约束来提供灵敏度边界,实现差分隐私以保证网络的私密性,在固定的隐私保证下最大化梯度与噪声之比,并提供 Python 包以实现构建和私 - 基于二阶方法的更快差分隐私凸优化
本文研究了使用一阶和二阶优化方法的隐私保护凸优化问题,其中开发了一种基于正则化的三次牛顿法的私有算法,并在逻辑斯蒂回归问题上获得了性能优越性。
- 仅需一次训练即可进行隐私审计
本研究提出了一种方案,用于单次训练运行的差分隐私机器学习系统的审计,利用了可以独立添加或删除多个训练样例的并行性,该审计方案利用差分隐私和统计泛化之间的联系进行分析,避免了群体隐私成本,而且对算法需求的假设极少,可在黑盒或白盒设置中应用。
- 差分隐私拓扑数据分析
本文首次尝试以差分隐私为基础的拓扑数据分析,产生了近乎最优的私有持久性图。研究表明,使用 $L^1$-DTM 持久性图在灵敏度方面的表现更佳,并提出了使用指数机制进行隐私保护的方案。通过模拟和实验数据验证,证明了提出的隐私机制近乎最优的准确 - 有限功耗和隐私预算下的无线联邦平均化
本研究提出一种差分隐私 OTA-FedAvg 系统,通过对齐系数进行梯度聚合并使用通道噪声保护隐私来提高学习性能,同时设计设备调度,对齐系数和 FedAvg 执行次数以满足隐私和功率约束。通过收敛性分析和优化方法,验证了该策略的有效性。
- 在联邦学习中通过私有化定制预调优以更好地匹配用户数据
介绍了一种用于联合学习的隐私保护方法 —— FreD,该方法使用分布式的差分隐私均值和协方差估计器计算大型语言模型在中央(公共)数据集和联合私人客户数据上生成嵌入的 Fréchet 距离,以可靠和私密的方式评估 Prefinetuning - 基础模型偏置项差分隐私微调
提出了一种不修改网络架构、参数高效、计算高效的模型无关机制 DP-BiTFiT,实现了对长序列和高分辨率图片的隐私保护微调,达到了 DP 算法的最高精度及标准微调的效率,其速度和内存使用量是 DP full fine-tuning 的 2- - ICML关于私人在线凸优化:在 $l_p$ 几何和高维情境赌徒中的最优算法
研究了使用差分隐私保护的在线随机凸优化问题,提出了一种具有递归梯度的私有在线 Frank-Wolfe 算法,可在线性时间内实现最优超额风险,并证明递归梯度的方差缩减结果在非平稳场景下也有理论保证。同时,该算法也被扩展到 p=1 的情况,可实 - 基准测试差分隐私合成数据生成算法
本研究对不同差分隐私合成数据生成算法进行了系统基准测试,评估了合成数据的实用性,并确定了表现最佳和最差的算法。
- 自适应差分隐私经验风险最小化
本文提出了一种自适应的(随机)梯度扰动方法用于差分隐私经验风险最小化,在每次迭代中将添加的随机噪声优化适应于步长;我们将这个过程称为自适应差分隐私(ADP)学习。 通过相同的隐私预算,我们证明了 ADP 方法相比于加入香草随机噪音的标准差分 - 通过影响分析从图神经网络中恢复私有边
本研究研究了在具有垂直数据分割(即不同的数据持有者具有节点特征或边缘信息)的场景下,如何通过使用图神经网络和差分隐私技术来保护边界隐私以进行联合训练,其结论表明,现有的机制往往存在泄漏隐私的风险。
- 高维差分隐私随机优化及重尾数据
本文中,我们首次对 DP-SCO 问题的高维重尾数据进行了研究,提出了在约束为多面体的情况下的误差频率及其限制,进一步在 LASSO 和稀疏学习问题中讨论了误差限制。
- 隐私保护随机优化:凸和非凸设置下的新结果
本文研究隐私保护随机优化问题在凸性和非凸性情况下的解决方案,并给出了针对不同损失函数的最优算法,其中包括 non-smooth generalized linear losses(GLLs)和多种约束条件以及多种平滑系数的情况。
- 不需要私有协方差估计的协方差感知私有均值估计
提出两种样本有效的差分隐私均值估计器,可用于具有未知协方差的 $d$ 维(子)高斯分布。这些估计器是基于一种简单通用的设计差分隐私机制的方法实现的,但需要新颖的技术步骤使其保持隐私和有效性。
- AAAI分布式差分隐私决策树学习的可扩展和可证明精确性算法
本文提出了分布式环境下差分隐私保护决策树学习的第一个证明准确的算法: DP-TopDown,并介绍了两种分布式实现方法。这些研究成果提供了差分隐私保护下的顶部 - 向下决策树学习的效用保证,并揭示了在隐私、精度和概括性之间学习私有决策树的权 - 探究数据依赖下的成员推断攻击
本文研究了在考虑统计依赖性的情况下,Differentially Private 训练算法在 Membership Inference Attack 防御中的可行性,发现在存在依赖性的情况下,DP 无法提供有效保护。作者通过对离线对攻击的实