Jul, 2023

用假设检验解释差分隐私来限制数据重建攻击

PDF
TL;DR我们建立了假设检验差分隐私与重建鲁棒性的联系，并推导出来自拉普拉斯和高斯机制以及其子采样变体的闭式、解析或数值重建鲁棒性上界。
reconstruction robustnessdata reconstruction attacksdifferential privacy mechanismsmonte carlo estimateshypothesis testing dp
发现论文，激发创造
  • 对无数据先验的对手的边界重建攻击成功性进行限制

    通过实验结果，我们在现实场景中提供了差分隐私机器学习模型下重构成功的明确上界，这有助于在不同上下文和度量标准下进行隐私参数的明智选择。

    Feb, 2024

  • 用 Rényi 差分隐私来防御重建攻击

    本文研究重建攻击和隐私保护，通过实验表明较大的隐私预算不能保护模型的成员推断，但可以保护好非常罕见的秘密，并提出一种相同机制的更好的重建攻击隐私保证。

    Feb, 2022

  • 扩散模型的视觉隐私审计

    通过实证研究探讨差分隐私参数选择的挑战，揭示了实际数据与重建目标之间领域转变的关系，提出了基于扩散模型的重建攻击方法，并证明了真实数据先验对于重建的影响，现有的重建边界不良模拟了数据先验的风险，并且扩散模型可以作为有效的隐私泄漏审计工具。

    Mar, 2024

  • 贝叶斯容量作为联邦学习中重构攻击的度量

    在这篇论文中，我们利用信息论量化信息流的框架，形式化了重建威胁模型。我们展示了贝叶斯容量与 DP-SGD 算法泄漏给对重建攻击感兴趣的敌手相关的 Sibson 无穷阶互信息之间的紧密上界。我们提供了实证结果，证明了这一指标在衡量机制对抗重建威胁方面的有效性。

    Jun, 2024

  • 数据重构攻击和防御：系统评估

    在这项工作中，我们提出了一种针对联邦学习环境中的强力重构攻击，该攻击重构了中间特征，并且与大多数先前的方法相比，集成且表现更好。我们在这种更强力的攻击上进行了深入的理论和实证研究，发现梯度剪裁是针对最先进攻击的最有效策略。

    Feb, 2024

  • 基于分布鲁棒优化的差分隐私

    本文利用分布式鲁棒优化技术，开发了一种机制设计模型，以实现最高准确度和隐私预选级别的非渐近和无条件最优性保证。

    Apr, 2023

  • 增量再平滑：将差分隐私与认证鲁棒性相结合

    通过 DP-CERT 框架结合随机平滑技术和差分隐私模型训练，同时提供隐私和认证鲁棒性，从而在 CIFAR10 数据集上显著提高了模型的认证准确性和认证半径。

    Jun, 2023

  • 保护重构及其在私有联邦学习中的应用

    本文探讨了在分散式数据环境下，采用局部差分隐私保护敏感数据的可行性，设计了最优局部差分隐私机制，实现了在大规模数据训练下保护隐私，同时保证模型准确性。

    Dec, 2018

  • 协调医学影像中的人工智能性能与数据重建韧性

    人工智能模型对其训练数据的信息泄漏存在漏洞，而隐私增强技术，如差分隐私，旨在规避这些弱点。通过设置可量化的隐私预算，差分隐私为训练模型提供最强大的保护，同时限制推断训练样本的风险或重建原始数据的风险。本研究对比了在不同隐私预算下人工智能模型的性能与理论风险界限和重建攻击的实证成功。研究结果表明，使用很大的隐私预算可以防止重建攻击，而性能下降微不足道。因此，我们得出结论，在处理敏感数据时，完全不使用差分隐私是不负责任的，并为隐私风险和模型性能之间的平衡找到了基础，为进一步的讨论奠定了基础。

    Dec, 2023

  • 相似性为基础的隐私测量的不足：针对 “真正匿名合成数据” 的重构攻击

    通过评估数据的统计相似性来衡量隐私是不可靠和不一致的，而生成模型只应以差分隐私为标准以保护数据隐私。本文针对领先公司提供的隐私度量指标进行分析，揭示了一些关键的推理缺陷，并提出了成功恢复生成模型中绝大部分用于训练的异常记录的重构攻击 ReconSyn。研究表明，仅将差分隐私应用于模型或使用低效的生成器不能减轻 ReconSyn 对隐私的泄露风险，因为泄露主要来自于度量指标。总体而言，我们的工作提醒从业人员不要偏离既定的隐私保护机制。

    Dec, 2023