Jun, 2023

合成数据发布中易受攻击的记录识别

PDF
TL;DR首次提出基于临近记录距离的合成数据易感记录识别技术，相较之前的 ad-hoc 方法具有更好的表现，即使使用差分隐私合成数据生成器也能够准确地识别易感记录，并对于评估合成数据发布的隐私风险具有重要作用。
synthetic dataprivacymembership inference attacksvulnerable recordsdifferential privacy
发现论文，激发创造
  • 合成数据不需要其他辅助数据：针对合成数据的成员推断攻击无需其他假设的去除

    本研究表明，假设攻击者只能访问合成数据而不是其他辅助数据集，会导致轻松攻击合成数据，因此需要检验合成数据隐私保护的安全性。

    Jul, 2023

  • 合成数据异常值：身份泄露导航

    通过对合成数据的异常值进行分析，我们的研究发现链接攻击方式可能会导致异常值被重新识别，并且差分隐私等额外安全措施可以预防重新识别，但会损失数据可用性。

    Jun, 2024

  • 关于多重成员推断攻击和目标模型的数据点漏洞

    本文通过定义新的指标来反映数据点在多重成员推断攻击下的脆弱性，从而捕捉多次攻击和不同目标模型下的脆弱数据点。作者运用可扩展性和灵活性的会员推断攻击平台 (VMIAP) 实现 54 次成员推断攻击，发现攻击模型对某些数据点情有独钟，同时发现数据点的脆弱性与攻击模型和目标模型有关。

    Oct, 2022

  • 成员推断攻击的不同脆弱性

    本文研究了会员推断攻击对人群子组的不平等影响，能够识别给定的数据记录是否属于模型的训练数据，并提出了解决方法，包括算法的公平性和差分隐私。通过实验，证明在现实环境中存在明显的不平等影响。

    Jun, 2019

  • 相似性为基础的隐私测量的不足：针对 “真正匿名合成数据” 的重构攻击

    通过评估数据的统计相似性来衡量隐私是不可靠和不一致的，而生成模型只应以差分隐私为标准以保护数据隐私。本文针对领先公司提供的隐私度量指标进行分析，揭示了一些关键的推理缺陷，并提出了成功恢复生成模型中绝大部分用于训练的异常记录的重构攻击 ReconSyn。研究表明，仅将差分隐私应用于模型或使用低效的生成器不能减轻 ReconSyn 对隐私的泄露风险，因为泄露主要来自于度量指标。总体而言，我们的工作提醒从业人员不要偏离既定的隐私保护机制。

    Dec, 2023

  • 一个基于距离的原创全合成数据生成方法的统计属性和隐私保证

    通过开发多步骤的合成数据生成框架并评估其风险效用模型，成功评估了使用该框架生成的数据的质量，展示了开放 - CESP 倡议的技术和概念的可行性。

    Oct, 2023

  • 机器学习模型泄漏研究：对合成训练数据的探索

    对于一个预测个人或家庭在接下来两年内搬迁的机器学习模型的攻击进行研究，该攻击假设攻击者可以查询模型以获取预测结果，并且模型的训练数据的边际分布公开可用。攻击还假设攻击者已获得了某些目标个体的非敏感属性的值，攻击的目标是推断出这些目标个体的敏感属性值。我们探讨了在训练模型时用合成数据替换原始数据对攻击者成功推断敏感属性的影响。

    Oct, 2023

  • 聚合位置数据的零辅助知识成员推理攻击

    在从群体中频繁收集和共享位置数据以指导政策和决策的过程中，存在成员推断攻击的隐私问题。本文提出了一种在汇总位置数据上进行零辅助知识攻击的方法，通过生成合适的合成轨迹，从而消除了对真实个体轨迹的辅助数据集的需求，并对偏差和噪音进行了校正。研究表明，这种方法在保护隐私机制应用之前仍然适用，且即使攻击者仅了解目标的一小部分位置历史也具有很高的有效性，因此强调了对差分隐私的强保护需求。

    Jun, 2024

  • 隐私保护生成框架对抗成员推断攻击

    本文提出了一种隐私保护的生成模型，通过变分自编码器 (VAE) 的信息提取和数据生成能力，生成符合差分隐私要求的合成数据来防御成员推理攻击，并进行了实验验证。

    Feb, 2022

  • 大规模多模型实用成员推理攻击：一个试点研究

    利用余弦相似度阈值和弱监督攻击方法，对多模式模型进行成员推断攻击，研究表明 CLIP 模型容易受到攻击，而弱监督攻击方法在低误报率下平均性能提高 17%，至少比基准方法有效率提高 7 倍。

    Sep, 2023