推荐系统的模型窃取攻击
本研究探讨了模型提取是否可以用于 “窃取” 顺序推荐系统的权重以及针对此类攻击对受害者可能带来的潜在威胁。我们认为,由于用于训练它们的特定自回归模型,顺序推荐系统容易受到攻击。我们在无数据访问情况下,通过有限预算模拟数据生成和知识蒸馏提出了一种基于 API 的模型提取方法,以研究最先进的顺序推荐模型在此类攻击下的脆弱性。通过两阶段攻击,即模型提取和下游攻击,我们发现黑盒顺序推荐模型易受白盒顺序推荐器生成的对抗样本干扰并受到污染。
Sep, 2021
最近的研究表明,GNN 对于模型盗取攻击是脆弱的,而这种攻击是通过查询许可来复制目标模型的阴险行为。然而,这些研究主要关注节点分类任务,忽视了在图分类任务领域所带来的潜在威胁。此外,它们的可行性令人质疑,因为涉及了大量的数据需求和广泛的模型知识。为此,我们倡导遵循严格的设置,通过有限的真实数据和硬标签意识来生成合成数据,从而便于盗取目标模型。具体地,我们遵循重要的数据生成原则,引入了三种模型盗取攻击方法,以适应不同的实际场景:MSA-AU 受主动学习的启发,强调不确定性以增强生成样本的查询价值;MSA-AD 基于 Mixup 增强策略引入多样性,以减轻 MSA-AU 生成的过于相似样本所导致的查询效率问题;MSA-AUD 结合了上述两种策略,无缝地整合了生成样本的真实性、不确定性和多样性。最后,广泛的实验证明了所提方法在隐藏性、查询效率和盗取性能方面的优越性。
Dec, 2023
MLaaS 服务的 “模型窃取” 攻击威胁了提供商的知识产权,本文通过对该领域进行全面系统化的分类和比较,探索了相应的防御技术,并提出了攻击和防御策略的分类法和指南并分析哪些防御策略被当前攻击策略削弱
Jun, 2022
本研究针对基于深度学习的推荐系统进行了第一次系统性研究,提出了一个注入可控用户的数据污染攻击模型并发现此攻击在小、大规模数据集上都表现出色,同时提出多种优化方法用于解决此非凸整数编程问题。
Jan, 2021
研究了推荐系统中存在的一种被称为 “对抗性注入攻击” 的问题,攻击者通过注入虚假的用户行为来实现其目的,设计了一种生成虚假用户的优化问题的精确解决方案,并探讨了攻击传递性及其限制,在真实数据集上进行了实验,为防御这种可能出现的攻击提供了有用的方法。
Aug, 2020
本篇论文讨论了推荐系统中的道德和社会问题,特别是 malicious user bias 所致的偏见和攻击对推荐模型的影响,强调了设计公平和稳定的推荐系统的重要性,尤其针对深度学习协同过滤推荐系统的脆弱性。
Sep, 2022
机器学习 API 面临盗取模型的问题,本文提出了一种名为 GRAD^2 的梯度重定向防御方法,通过优化算法、辅助网络和防御策略的改进,在保证良性用户效用的同时,实现了较小的效用损失和低计算开销,并证明了其可行性和优越性。
Jun, 2022
该论文研究了基于图像的协同过滤推荐系统中可能存在的视觉攻击,并提出了一种新的视觉攻击模型,该模型可以有效地影响推荐系统中商品的排名,并证明了该攻击模型可以在不了解模型参数的情况下,通过对商品图像进行微小不可察觉的修改,从而提高商品的分数。
Nov, 2020