关于利用不确定性量化模型进行模型窃取的限制
使用不确定性量化技术对预训练视觉模型进行预测不确定性估计，以提取有价值的预测并忽略不自信的预测，从而避免最多 80% 的被错误分类的样本。
Mar, 2024
最近的研究表明，GNN 对于模型盗取攻击是脆弱的，而这种攻击是通过查询许可来复制目标模型的阴险行为。然而，这些研究主要关注节点分类任务，忽视了在图分类任务领域所带来的潜在威胁。此外，它们的可行性令人质疑，因为涉及了大量的数据需求和广泛的模型知识。为此，我们倡导遵循严格的设置，通过有限的真实数据和硬标签意识来生成合成数据，从而便于盗取目标模型。具体地，我们遵循重要的数据生成原则，引入了三种模型盗取攻击方法，以适应不同的实际场景：MSA-AU 受主动学习的启发，强调不确定性以增强生成样本的查询价值；MSA-AD 基于 Mixup 增强策略引入多样性，以减轻 MSA-AU 生成的过于相似样本所导致的查询效率问题；MSA-AUD 结合了上述两种策略，无缝地整合了生成样本的真实性、不确定性和多样性。最后，广泛的实验证明了所提方法在隐藏性、查询效率和盗取性能方面的优越性。
Dec, 2023
云端托管的量子机器学习（QML）模型面临许多漏洞，其中最重要的是模型窃取攻击。本研究评估了这些攻击在量子计算领域的效果，利用多个 QML 模型体系结构在不同数据集上进行了全面的实验。实验结果显示，使用 Top-1 和 Top-k（k: num_classes）标签进行训练的模型窃取攻击可以产生克隆模型，其克隆测试准确率分别达到原模型的 0.9 倍和 0.99 倍。为了防御这些攻击，我们利用当前嘈杂硬件的独特属性扰乱了受害模型的输出，阻碍了攻击者的训练过程。具体来说，我们提出了两种方法：1）硬件变化诱发的扰动（HVIP）和 2）硬件和模型结构变化诱发的扰动（HAVIP）。虽然噪声和架构的可变性可以提供约 16% 的输出混淆，但我们的综合分析表明，在噪声条件下克隆的模型往往是弹性的，由于这种混淆几乎不会导致性能下降。尽管我们的防御技术取得了有限的成功，但这种结果导致了一项重要发现：在噪声硬件上训练的 QML 模型对扰动或混淆性的防御或攻击具有天然的抵抗力。
Feb, 2024
本文针对机器学习黑盒模型，提出了一种攻击方法，通过仅利用输入图像和输出的预测结果，而无需了解模型训练数据、结构或输出语义的情况下，来窃取其功能，并采用一种基于强化学习的方法，提高了查询样本的效率和性能。
Dec, 2018
本文探讨了基于机器学习的入侵检测系统在准确度不确定性方面的挑战和应用，强调了准确度不确定性对提高 ML-IDS 的可信度的重要性，并通过对网络入侵检测领域的不同 ML 方法进行比较和验证，表明准确度不确定性的适当估计可以显著增强 ML-IDS 的可信度。此外，结果还确认传统基于前馈神经网络的 ML 方法可能不适合在网络入侵检测中使用。
Sep, 2023
本文提出了一种基于协作生成替代模型网络的无数据模型窃取框架 MEGA，该框架通过合成查询示例和预测标签来模拟目标模型，并且通过最大化替代模型的置信度来生成图像，实验表明，该框架所训练的替代模型和黑盒敌对攻击的成功率均比现有的数据无关的攻击方法高。
Jan, 2022
探讨深度神经网络架构与训练机制与其相应的选择性预测和不确定性估计性能的关系，并在 484 个预训练的深度 Imagenet 分类器中进行了全面的选择性预测和不确定性估计性能研究，发现 ViT 架构在不确定性估计性能方面表现最优。
Jun, 2022
本文提出了一种新的算法，通过利用深度神经网络分类器中数据点的潜在空间表示来评估其预测的准确性，该方法可以检测出分布之外的数据点被不正确地预测，从而有助于自动检测异常值。
May, 2023