Sep, 2023

机器学习系统中的隐私侧信道

PDF
TL;DR通过引入隐私侧信道攻击，本研究揭示了当前保护机器学习隐私的方法假设模型存在于真空中，然而事实上，机器学习模型是包含用于训练数据过滤、输出监测等组件的更大系统的一部分。文中提出了四类隐私侧信道攻击，涵盖了整个机器学习生命周期，可以用于增强成员推断攻击或者进行提取用户测试查询等新颖威胁。通过实例展示，文中指出在应用差分隐私训练之前对训练数据进行去重造成了一种侧信道攻击，完全破坏了任何可证明的隐私保护保证。此外，研究还发现，阻止语言模型再生成训练数据的系统可以被利用来精确重构出包含在训练集中的私钥，即使模型本身并没有记忆这些私钥。总之，本研究的结果表明需要进行全面的端到端的机器学习隐私分析。
发现论文，激发创造
  • 机器学习中隐私攻击调查

    对机器学习中隐私攻击的分类及防御方法进行了研究和探讨。

    Jul, 2020

  • 机器学习中安全与隐私科学的探索

    ML 在安全性方面存在漏洞，提出威胁模型并对攻击进行分类，探究了模型准确性与抗敌对操作的关系。

    Nov, 2016

  • 卷积神经网络加速器能量侧信道攻击

    本论文提出了一种基于功率侧信道的攻击方法，在不了解神经网络的详细参数的情况下，能够从收集到的功率跟踪中恢复输入图像。在 MNIST 数据集上，我们的攻击能够实现最高 89% 的识别准确率。

    Mar, 2018

  • 真相血清：毒化机器学习模型揭示它们的秘密

    介绍了一种新的针对机器学习模型的攻击方式，即通过污染训练数据集，导致模型泄露属于其他用户的私人数据。该攻击包括成员推断、属性推断和数据提取等多方面，可能会危及多方面的用户隐私。

    Mar, 2022

  • 隐私后门：通过污染预训练模型增强成员推断

    利用小型专用数据集微调大型预训练模型来生成特定应用模型是常见的做法。然而，我们揭示了一种新的漏洞：隐私后门攻击，通过该攻击，在微调受后门影响的模型时，训练数据的隐私泄露率会显著增加。我们在不同数据集和模型上进行了大量实验证明了这种攻击的广泛适用性和有效性，并通过不同微调方法和推断策略进行了多次消融研究以全面分析这个新威胁。我们的发现突出了机器学习社区的重要隐私问题，并呼吁重新评估使用开源预训练模型的安全协议。

    Apr, 2024

  • CSI 神经网络：使用侧信道恢复你的人工神经网络信息

    该研究利用非侵入式的侧信道信息，针对多层感知器神经网络，研究了如何逆向工程并获取该网络的构架及权重， 并展示了恢复输入所需的可行性和应对该攻击的几种缓解方法。

    Oct, 2018

  • 副通道攻击破坏嵌入式人工智能的黑箱特性

    通过利用边信道攻击以提取 logits，我们提出了一种架构无关的黑盒攻击方法用于生成具有欺骗性的对抗样本，以证明边信道攻击在攻击神经网络时的有效性。

    Nov, 2023

  • 通过时间侧信道窃取神经网络

    本文提出利用时间侧信道攻击来推断神经网络模型深度的黑盒神经网络提取攻击，使用知识蒸馏和强化学习，有效减少了搜索空间，可以构造出与目标模型测试精度接近的替代模型，且该方法可扩展，并与神经网络结构类型无关。

    Dec, 2018

  • 机器学习模型隐私风险的系统评估

    本文研究了机器学习模型的隐私风险和成员推理攻击，提出了一种基于预测熵修改的推理攻击和一个新的隐私风险得分指标，同时对已有的防御机制进行了基准攻击，实验结果表明个体样本的隐私风险得分分布差异很大，同时确定源风险的主要因素与模型敏感性、综合误差和特征嵌入有关系。

    Mar, 2020

  • 深度学习模型中的安全与隐私挑战

    深度学习模型在多个领域取得了巨大的成功，但研究发现这些模型存在各种攻击，会危及模型的安全性和数据隐私，特别是模型抽取攻击、模型反转攻击和对抗攻击。这篇论文研究了这些攻击以及它们对深度学习模型的影响。

    Nov, 2023