- 针对差分隐私的攻击感知噪声校准
我们的研究提出了一种新方法,通过直接校准噪声规模到期望的攻击风险水平,而无需选择隐私预算参数 ε,从而显著降低噪声规模,提高模型的准确性,同时保护隐私。
- 基于搭配的方法应对词级度量差分隐私挑战
应用差分隐私(DP)在自然语言处理中的研究必须区分其操作的句法级别,通常采用单词级或文档级的隐私化形式。最近,已经提出了几种基于 Word Embedding 空间的通用 DP 概念的单词级 Metric Differential Priv - 从保护隐私的预训练中表征刻板偏见
利用词在嵌入空间中的空间排列对原始文本应用差分隐私 (DP),研究了此类文本隐私技术对语言模型 (LMs) 及其对刻板化关联的倾向的影响。在测试 BERT 模型在包含有刻板化陈述的文本上进行的训练中,研究发现,尽管隐私越加严格时刻板化倾向一 - ACLDP-MLM:使用掩膜语言模型的差分隐私文本重写
基于掩码语言模型(MLMs),提出了一种新的基于差异隐私的文本重写方法 DP-MLM,能够在语义相似且混淆的方式下重写文本,对于保护隐私提供更好的实用性,并具有更大的重写机制定制化能力。
- DP-Weights:让任何模型拥有差分隐私
使用差分隐私和加噪声的方法对机器学习模型进行训练,通过对模型的权重添加噪声来实现隐私和效用的平衡,并通过实验证明了该方法的有效性,为在实际场景中部署差分隐私模型提供了一种实用的替代方案。
- 聚合位置数据的零辅助知识成员推理攻击
在从群体中频繁收集和共享位置数据以指导政策和决策的过程中,存在成员推断攻击的隐私问题。本文提出了一种在汇总位置数据上进行零辅助知识攻击的方法,通过生成合适的合成轨迹,从而消除了对真实个体轨迹的辅助数据集的需求,并对偏差和噪音进行了校正。研究 - 运用自适应差分隐私和基于优先级的聚合增强联邦学习
通过个性化差分隐私框架和考虑各种异构性和属性调整的方法,该论文提出了一种高效地保护隐私的个性化差分隐私框架,并对联邦学习算法的收敛边界进行了分析,同时进一步研究了考虑时间变化的个性化因素的收敛性质。
- 分布式学习能力与稳健性
对于分布学习问题,我们研究了可学习性和鲁棒(或不可知)可学习性之间的关系,发现与其他学习设置(例如函数类的 PAC 学习)相反,概率分布类的可实现学习性并不意味着其不可知可学习性。我们进一步研究了什么样的数据损坏可以破坏分布类的可学习性以及 - 隐私保护的人口过程强化学习
我们考虑了强化学习算法中的隐私保护问题,该问题涉及人群过程,这是一个实际但研究很少的设置,例如在大规模个体之间进行流行病控制。我们通过 Pufferfish 隐私分析澄清了相关数据在人群进程中的差分隐私(DP)的贝叶斯语义,并提供了一种元算 - ICML私隐差分深度学习的高效可扩展训练
差分隐私随机梯度下降(DP-SGD)是在差分隐私下训练机器学习模型的标准算法,其主要缺点是效用下降和显著的计算成本,我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本,并对旨在降低成本的方法进行了基准测试,其中包括更高效的 DP - 信用归因与稳定压缩
我们研究机器学习算法对信用归因的问题,提出了新的定义 —— 对差分隐私进行放松,以使得某些数据点的稳定性保证降低,这些数据点可以在得到数据所有者的许可下非稳定地使用,可能会有对其进行补偿,同时其他数据点对算法的输出没有显著影响。我们在 PA - 用户级别差分隐私用于语言模型微调
对自然语言生成任务中使用大型语言模型进行用户级差分隐私保护的设计选择进行系统评估,重点研究两种实现用户级差分隐私保证的机制,即群体隐私和用户级 DP-SGD,包括数据选择策略和参数调优,以实现最佳的隐私 - 效用平衡。
- 贝叶斯容量作为联邦学习中重构攻击的度量
在这篇论文中,我们利用信息论量化信息流的框架,形式化了重建威胁模型。我们展示了贝叶斯容量与 DP-SGD 算法泄漏给对重建攻击感兴趣的敌手相关的 Sibson 无穷阶互信息之间的紧密上界。我们提供了实证结果,证明了这一指标在衡量机制对抗重建 - 基于梯度训练的差分隐私和遗忘的证明
基于凸松弛的框架可以计算形式化的保证(证书),以满足特定预测的 ε=0 隐私保证,或者不依赖于可撤销请求的数据。验证为中心的隐私与撤销保证可用于增加用户信任度,提供针对某些成员推理攻击的鲁棒性的形式化证明,确定可能容易受攻击的记录,并增强当 - ICML使旧事焕新:差分隐私聚类的统一算法
20 年前的算法经过轻微修改,适用于各种隐私模型,匹配几乎所有已知结果,改进了一些结果并扩展到新的隐私模型,即连续观测环境。
- MemDPT:高效内存差分隐私语言模型
通过提出的创新训练框架 MemDPT,本文在减少大型语言模型的内存成本的同时,强调保护用户数据的隐私,通过边缘网络和反向网络设计实现了差分隐私内存高效微调方案,达到了 2 至 3 倍的内存优化,并提供了可靠的隐私保护,确保用户数据的安全和保 - 基于元学习的噪声感知差分隐私回归
通过使用模拟数据来训练元学习模型,将 Convolutional Conditional Neural Process (ConvCNP) 与改进的 DP 机制相结合,从而提供准确、良好校准的预测模型,并在非高斯数据上优于 DP 高斯过程( - 超越平均数:差分隐私原型的私有转移学习
通过利用已公开训练的编码器从私有数据中提取特征并生成代表嵌入空间中每个私有类的差异化隐私原型,DPPL 提供了高效预测和强隐私保证,即使在纯差分隐私概念下,也能在高隐私和低数据环境以及私有训练数据不平衡时表现出优秀性能。
- 具有异构分布式差分隐私约束的非参数回归的最优联邦学习
该论文研究了在分布式样本中进行非参数回归的联邦学习,其中每个样本服务器都遵守不同的差分隐私约束。在考虑到不同服务器的变化样本大小和差分隐私约束的异构设置中,该论文同时考虑了全局和逐点估计,并建立了在 Besov 空间上的收敛最优速率。通过提 - 差分隐私最佳臂识别
最佳臂识别(BAI)问题在数据敏感应用中得到广泛应用,研究此问题时考虑了固定置信度下的本地和中心模型的差分隐私(DP)要求,并提出了相应的算法,以实现隐私与效用之间的权衡。