AAAIJan, 2022

针对差分隐私分裂学习的特征空间劫持攻击

PDF
TL;DR本论文旨在探讨对分布式数据集进行隐私合规高级分析时，分割学习和差分隐私这两项技术的应用。通过使用最近的特征空间劫持攻击对增强差分隐私的分割神经网络的学习过程进行攻击，我们发现差分隐私并不是很有效的保护方法，并提出了一些潜在的风险缓解方法。
发现论文，激发创造
  • 划分而非劫持：在划分学习中防止特征空间劫持攻击

    结合拆分学习和函数秘密共享的混合方法可以确保客户数据的隐私安全，并提高机器学习流程的效率。通过给激活图添加随机掩码，利用函数秘密共享生成股份，从而实现在前向和后向传播过程中，服务器无法从激活图重构客户的原始数据。此方法成功降低了隐私泄露，并对特征空间劫持攻击具有安全性保障。

    Apr, 2024

  • SplitGuard：在分布式学习中检测和缓解训练劫持攻击

    本文提出 SplitGuard 方法来检测分布式深度学习模型中的训练劫持攻击，以保障数据私密性的同时，最大化减少敏感信息恢复的风险。

    Aug, 2021

  • 实用分散式学习对聚类标签推断攻击

    本文针对隐私敏感的应用，提出了一种针对实际分割学习的被动聚类标签推断攻击，该攻击可以通过收集交换的梯度和压碎数据来精确检索私有标签，并使用余弦和欧几里得相似度度量来分析潜在的标签泄露。实验结果表明，即使对标签进行差分隐私和梯度压缩的保护，攻击者仍然可以在不同的设置下（例如，切割层位置，时代和批量大小）实现准确的预测。

    Mar, 2022

  • 防止属性推断、数据重建和特征空间劫持攻击的安全分裂学习

    通过研究 SplitNN 及其所带来的潜在威胁和攻击，本研究提出了一种隐私保护的信息交换通道，利用可控的解决方案扰乱知识的传播，并使用新的激活函数 R3eLU 来有效地防御威胁。本研究的实验结果表明，该方法在绝大部分情况下都能较好地平衡防御和模型可用性。

    Apr, 2023

  • 关于分割学习的数据无关模型反演、模型窃取和标签推理攻击

    通过两种新攻击方法，我们表明 Split learning 算法不能保障训练数据和模型参数的安全，因此提供的隐私保护是虚假的。

    Aug, 2021

  • 使用稀疏模型扰动的联邦学习：在客户端级别的差分隐私下提高准确性

    本篇论文提出了一种名为 Fed-SMP 的新型差分隐私联邦学习方案，该方案采用 Sparsified Model Perturbation (SMP) 技术，在保持高模型准确性的同时，提供客户端级差分隐私保证，并使用 Renyi DP 提供紧密的隐私分析，并证明了 Fed-SMP 收敛性，通过实验数据证明了 Fed-SMP 提高了模型准确性并同时节省通信成本。

    Feb, 2022

  • 深度学习与差分隐私

    本论文提出新的算法技术，包括隐私成本的细化分析，并在差分隐私框架下进行。 实验结果表明：我们可以在较小的隐私成本下训练具有非凸目标的深度神经网络，而且在软件复杂性、训练效率和模型质量上具有可管理的成本。

    Jul, 2016

  • 实用差分隐私的三种工具

    在实际数据中进行差分隐私学习存在挑战：隐私保证难以解释，对私有数据进行的超参数调整会降低隐私预算，通常需要进行特殊的隐私攻击来测试模型的隐私性。本文提出了三种工具来使差分隐私机器学习更加实用：（1）可在训练前以集中方式进行的简单的健全性检查，（2）自适应裁剪边界来减少可调隐私参数的有效数量，（3）大批量训练可以提高模型性能。

    Dec, 2018

  • 关于分割学习服务端后门攻击的可行性

    本文通过在服务器端注入后门触发器，对分割学习中的后门攻击进行了新型研究，研究结果表明，尽管使用了强的模式和注入方法，但分割学习对于这种污染攻击是高度强大和抗性强的。

    Feb, 2023

  • 金融异常检测的垂直和水平分割数据上的隐私保护联合学习

    我们提出了一种新颖的解决方案 PV4FAD，它结合了全同态加密 (HE)、安全多方计算 (SMPC)、差分隐私 (DP) 和随机化技术，以在训练期间平衡隐私和准确性，并防止模型部署时的推理攻击。

    Oct, 2023