本文探讨了在分散式数据环境下,采用局部差分隐私保护敏感数据的可行性,设计了最优局部差分隐私机制,实现了在大规模数据训练下保护隐私,同时保证模型准确性。
Dec, 2018
在这项工作中,我们提出了一种针对联邦学习环境中的强力重构攻击,该攻击重构了中间特征,并且与大多数先前的方法相比,集成且表现更好。我们在这种更强力的攻击上进行了深入的理论和实证研究,发现梯度剪裁是针对最先进攻击的最有效策略。
Feb, 2024
本文研究重建攻击和隐私保护,通过实验表明较大的隐私预算不能保护模型的成员推断,但可以保护好非常罕见的秘密,并提出一种相同机制的更好的重建攻击隐私保证。
Feb, 2022
通过聚合模型更新,掌握联邦学习中的用户隐私信息可能存在风险,破坏了联邦学习的数据安全,研究展示了一种攻击方法,通过聚合的模型更新重建用户和其私有训练数据之间的联系,属于一种细致入微、平行操作并具有较高灵敏度的推断攻击。
Jun, 2021
在这篇论文中,我们利用信息论量化信息流的框架,形式化了重建威胁模型。我们展示了贝叶斯容量与 DP-SGD 算法泄漏给对重建攻击感兴趣的敌手相关的 Sibson 无穷阶互信息之间的紧密上界。我们提供了实证结果,证明了这一指标在衡量机制对抗重建威胁方面的有效性。
Jun, 2024
分布式梯度下降 (D-GD) 允许一组用户在网络图中通过迭代平均本地模型更新与其相邻节点进行协同学习,而无需共享数据。我们提出了针对 D-GD 的第一个攻击,并演示了用户(或一组用户)如何通过回声平均协议的重构攻击来重建其他用户的私有数据,验证了攻击的有效性和对用户数量、攻击者数量及其在图中的位置等因素的影响。
通过实验结果,我们在现实场景中提供了差分隐私机器学习模型下重构成功的明确上界,这有助于在不同上下文和度量标准下进行隐私参数的明智选择。
我们提出了一个基于图神经网络的学习框架,该框架可以在用户层面提供节点隐私,并且在损失效用性方面表现较低。我们使用分布式隐私保护的概念,并在节点水平对特征和标签数据应用随机化机制,在数据被中央服务器收集用于模型训练之前进行扰动。通过随机化数据的统计分析中的频率估计,我们开发了重构方法来逼近扰动数据的特征和标签。我们还形成了利用图聚类的频率估计来在子图层面监督训练过程的学习框架。在真实数据集和半合成数据集上进行了大量实验,证明了我们提出模型的有效性。
Sep, 2023
本研究提出了 RelaySum 机制来解决分散式学习中不同工作节点之间数据分布的差异所带来的挑战,该机制利用生成树将信息分配给所有工作节点,并证明了基于该机制的 RelaySGD 对于数据异构性是独立的,并可扩展到许多工作节点,从而在异构数据上实现高精度的分散式深度学习。
Oct, 2021
通过评估数据的统计相似性来衡量隐私是不可靠和不一致的,而生成模型只应以差分隐私为标准以保护数据隐私。本文针对领先公司提供的隐私度量指标进行分析,揭示了一些关键的推理缺陷,并提出了成功恢复生成模型中绝大部分用于训练的异常记录的重构攻击 ReconSyn。研究表明,仅将差分隐私应用于模型或使用低效的生成器不能减轻 ReconSyn 对隐私的泄露风险,因为泄露主要来自于度量指标。总体而言,我们的工作提醒从业人员不要偏离既定的隐私保护机制。
Dec, 2023