卷积神经网络模型窃取攻击的高效防御
本文提出一种防御简单模型窃取攻击的方法,通过在提供的信息中添加噪音以限制敌对方的信息获取,使窃取模型的准确性降低至少 20% 或需要多达 64 倍的查询次数,并在此过程中保持原模型准确性。
May, 2018
该研究提出了采用自适应误导的方法抵御深度神经网络模型盗窃攻击,并针对现有所有模型盗窃攻击均使用 Out-Of-Distribution 输入进行了阐述,提出选择性错误预测的方法以显著降低攻击者克隆模型的准确率,同时最小化对良性用户准确率的影响,这种防御具有更好的安全性和准确度平衡,并且计算开销最小。
Nov, 2019
研究神经网络的权重在何种情况下容易被攻击者盗取。使用 i.i.d. 噪声输入,通过窃取 MNIST 和 KMNIST 模型,测试准确率分别达到 96% 和 82%,这说明权重的可盗取性与数据集的复杂性密切相关。此研究不仅突出了已知架构对模型窃取的影响,也为 CNN 的权重可学性提供了新的度量方法。此外,尝试使用 Ising 概率分布替代 i.i.d. 伯努利分布。
Dec, 2019
本文介绍了一种在各种威胁模型下生成鲁棒分类器的方法,该方法利用了随机生成建模的最新进展,并利用条件分布采样。通过在被攻击的图像上添加高斯独立同分布噪声,然后进行预训练扩散过程,该方法表现出了可观的鲁棒性。该鲁棒性在 CIFAR-10 数据集上经过了广泛的实验验证,表明我们的方法在各种威胁模型下优于主要的防御方法。
Jul, 2022
云端托管的量子机器学习(QML)模型面临许多漏洞,其中最重要的是模型窃取攻击。本研究评估了这些攻击在量子计算领域的效果,利用多个 QML 模型体系结构在不同数据集上进行了全面的实验。实验结果显示,使用 Top-1 和 Top-k(k: num_classes)标签进行训练的模型窃取攻击可以产生克隆模型,其克隆测试准确率分别达到原模型的 0.9 倍和 0.99 倍。为了防御这些攻击,我们利用当前嘈杂硬件的独特属性扰乱了受害模型的输出,阻碍了攻击者的训练过程。具体来说,我们提出了两种方法:1)硬件变化诱发的扰动(HVIP)和 2)硬件和模型结构变化诱发的扰动(HAVIP)。虽然噪声和架构的可变性可以提供约 16% 的输出混淆,但我们的综合分析表明,在噪声条件下克隆的模型往往是弹性的,由于这种混淆几乎不会导致性能下降。尽管我们的防御技术取得了有限的成功,但这种结果导致了一项重要发现:在噪声硬件上训练的 QML 模型对扰动或混淆性的防御或攻击具有天然的抵抗力。
Feb, 2024
本文提出了一种基于实践观察的新的防御方法,旨在强化深度神经网络的结构,提高其预测稳定性,从而更难受到针对性攻击,并在多种攻击实验中证明了该方法的有效性,相比其他防御方法具有更好的表现,而且在训练过程中的开销几乎可以忽略不计。
Jul, 2017
通过对敌对学习及攻击的深入探究,我们发现在敌对性训练的模型中,用微小的随机噪声扰动部分攻击样本能够破坏其误导性预测,为此我们提出了一种有效的防御方法,是通过制造更加有效的防御扰动方法,利用敌对训练降低了地面真实的局部 Lipschitzness,同时攻击所有类别,将误导的预测转换为正确的预测,这种方法在经验实验证明有效。
Jun, 2021