通过实验结果,我们在现实场景中提供了差分隐私机器学习模型下重构成功的明确上界,这有助于在不同上下文和度量标准下进行隐私参数的明智选择。
Feb, 2024
本文探讨了在分散式数据环境下,采用局部差分隐私保护敏感数据的可行性,设计了最优局部差分隐私机制,实现了在大规模数据训练下保护隐私,同时保证模型准确性。
Dec, 2018
通过实证研究探讨差分隐私参数选择的挑战,揭示了实际数据与重建目标之间领域转变的关系,提出了基于扩散模型的重建攻击方法,并证明了真实数据先验对于重建的影响,现有的重建边界不良模拟了数据先验的风险,并且扩散模型可以作为有效的隐私泄漏审计工具。
Mar, 2024
本文提出了一种采用差分隐私机制的数据推断攻击防御方法,通过调节一个参数,即隐私预算,处理成员推断和模型反演两种类型的攻击。该方法能够保持分类精度,并通过修改和标准化置信度得分矢量来保护成员隐私信息。实验结果表明,该方法对于成员推断和模型反演两种攻击是一种有效且及时的防御方法,不影响模型分类准确度。
Mar, 2022
通过评估数据的统计相似性来衡量隐私是不可靠和不一致的,而生成模型只应以差分隐私为标准以保护数据隐私。本文针对领先公司提供的隐私度量指标进行分析,揭示了一些关键的推理缺陷,并提出了成功恢复生成模型中绝大部分用于训练的异常记录的重构攻击 ReconSyn。研究表明,仅将差分隐私应用于模型或使用低效的生成器不能减轻 ReconSyn 对隐私的泄露风险,因为泄露主要来自于度量指标。总体而言,我们的工作提醒从业人员不要偏离既定的隐私保护机制。
Dec, 2023
我们建立了假设检验差分隐私与重建鲁棒性的联系,并推导出来自拉普拉斯和高斯机制以及其子采样变体的闭式、解析或数值重建鲁棒性上界。
Jul, 2023
研究如何通过反向工程的方法利用少量的反向查询训练数据重建整个机器学习模型,尤其是针对神经网络等更一般的模型,通过实际攻击和差分隐私的方法来防御这种攻击,并探讨其对标准机器学习管道的影响。
Jan, 2022
人工智能模型对其训练数据的信息泄漏存在漏洞,而隐私增强技术,如差分隐私,旨在规避这些弱点。通过设置可量化的隐私预算,差分隐私为训练模型提供最强大的保护,同时限制推断训练样本的风险或重建原始数据的风险。本研究对比了在不同隐私预算下人工智能模型的性能与理论风险界限和重建攻击的实证成功。研究结果表明,使用很大的隐私预算可以防止重建攻击,而性能下降微不足道。因此,我们得出结论,在处理敏感数据时,完全不使用差分隐私是不负责任的,并为隐私风险和模型性能之间的平衡找到了基础,为进一步的讨论奠定了基础。
本研究研究以 Rényi 差分隐私为视角的 DP 组合,通过证明一个更简单的复合定理并提供小型常量,从而使其足够实用,以应用于 DP 深度学习中进行在线噪声或批处理大小调整以提高模型准确性,在固定的总隐私损失内以停止微调模型以减少总隐私损失的操作
Mar, 2021
在该研究中,我们提出了基于模拟的隐私保护数据集推理方法,利用神经条件密度估计器近似后验分布,纠正隐私保护机制引入的偏差,并展示了隐私与效用之间的权衡的必要性和可行性。
Oct, 2023