对无数据先验的对手的边界重建攻击成功性进行限制
研究如何通过反向工程的方法利用少量的反向查询训练数据重建整个机器学习模型,尤其是针对神经网络等更一般的模型,通过实际攻击和差分隐私的方法来防御这种攻击,并探讨其对标准机器学习管道的影响。
Jan, 2022
通过实证研究探讨差分隐私参数选择的挑战,揭示了实际数据与重建目标之间领域转变的关系,提出了基于扩散模型的重建攻击方法,并证明了真实数据先验对于重建的影响,现有的重建边界不良模拟了数据先验的风险,并且扩散模型可以作为有效的隐私泄漏审计工具。
Mar, 2024
本文研究重建攻击和隐私保护,通过实验表明较大的隐私预算不能保护模型的成员推断,但可以保护好非常罕见的秘密,并提出一种相同机制的更好的重建攻击隐私保证。
Feb, 2022
在这项工作中,我们提出了一种针对联邦学习环境中的强力重构攻击,该攻击重构了中间特征,并且与大多数先前的方法相比,集成且表现更好。我们在这种更强力的攻击上进行了深入的理论和实证研究,发现梯度剪裁是针对最先进攻击的最有效策略。
Feb, 2024
在这篇论文中,我们利用信息论量化信息流的框架,形式化了重建威胁模型。我们展示了贝叶斯容量与 DP-SGD 算法泄漏给对重建攻击感兴趣的敌手相关的 Sibson 无穷阶互信息之间的紧密上界。我们提供了实证结果,证明了这一指标在衡量机制对抗重建威胁方面的有效性。
Jun, 2024
人工智能模型对其训练数据的信息泄漏存在漏洞,而隐私增强技术,如差分隐私,旨在规避这些弱点。通过设置可量化的隐私预算,差分隐私为训练模型提供最强大的保护,同时限制推断训练样本的风险或重建原始数据的风险。本研究对比了在不同隐私预算下人工智能模型的性能与理论风险界限和重建攻击的实证成功。研究结果表明,使用很大的隐私预算可以防止重建攻击,而性能下降微不足道。因此,我们得出结论,在处理敏感数据时,完全不使用差分隐私是不负责任的,并为隐私风险和模型性能之间的平衡找到了基础,为进一步的讨论奠定了基础。
Dec, 2023
通过评估数据的统计相似性来衡量隐私是不可靠和不一致的,而生成模型只应以差分隐私为标准以保护数据隐私。本文针对领先公司提供的隐私度量指标进行分析,揭示了一些关键的推理缺陷,并提出了成功恢复生成模型中绝大部分用于训练的异常记录的重构攻击 ReconSyn。研究表明,仅将差分隐私应用于模型或使用低效的生成器不能减轻 ReconSyn 对隐私的泄露风险,因为泄露主要来自于度量指标。总体而言,我们的工作提醒从业人员不要偏离既定的隐私保护机制。
Dec, 2023
本文针对 DP-SGD,即差分隐私下的随机梯度下降算法,采用对手模型来探究不同的对手能力对于隐私分析的影响,并计算了隐私保护的下限。实验结果表明,现实情况下的对手能力限制显著影响了隐私的泄露程度,这说明已有理论上的隐私上限过于保守。
Jan, 2021
本文探讨了在分散式数据环境下,采用局部差分隐私保护敏感数据的可行性,设计了最优局部差分隐私机制,实现了在大规模数据训练下保护隐私,同时保证模型准确性。
Dec, 2018