本文介绍了一种名为 “亚群体攻击” 的数据篡改攻击方法,对于大型和多样化的数据集非常不利,此攻击方法可以使在推理时间内自然分布的数据点产生错误分类,具有缺乏显著性的特点,并表明了现有的保护机制的局限性。
Jun, 2020
本文对过去 15 年来关于机器学习中中毒攻击和防御的 100 多篇论文进行了全面的系统化概括和批判性点评,主要关注于视觉应用程序,并讨论了当前的限制和开放性的研究问题。
May, 2022
本研究探讨半监督机器学习模型中一类新型的漏洞 —— 污染攻击,并提出两种方法来防止这种攻击。
May, 2021
用于训练数据的小扰动攻击机器学习模型的可用性数据中毒攻击有可能泛化到不同的学习算法和范式,并提出了可转移的中毒攻击来生成高频中毒扰动,该攻击具有显著改善的可转移性。
Oct, 2023
对使用用户提供数据训练的机器学习系统进行的数据毒化攻击问题进行了探讨,构建了数据异常移除后采用经验风险最小化的防御方法下的攻击损失上限并给出了攻击方法,检验了在 MNIST-1-7,Dogfish 数据集上其防御能力较强,而在 IMDB 情感数据集上加入 3% 的毒化数据可将测试误差从 12% 提升至 23%。
Jun, 2017
我们引入了一种针对算法公平性的优化框架,并开发了一种基于梯度的毒化攻击方法,旨在在数据的不同群体之间引入分类偏差,我们实验性地表明,我们的攻击不仅在白盒环境中有效,特别是在黑盒情况下,也对目标模型有很大影响,我们相信我们的发现为完全新的针对算法公平性在不同场景中的对抗攻击定义铺平了道路,并且研究这些漏洞将有助于未来设计更加稳健的算法和对策。
Apr, 2020
本文研究了深度图像分类模型中毒的问题,提出了两种防御方案进行后处理,利用少量的受信任的图像标签对修复模型,防御效果优于现有的方案,并指出了检测 / 鲁棒性权衡关系和攻击的适应能力问题。
May, 2023
本文综述了机器学习分类器训练中的数据污染攻击的安全漏洞,并介绍了几种可行的检测和缓解机制,比较了不同方法的性能以及固有属性,如可靠性、隐私和可解释性。同时,提供了未来研究方向的参考。
Feb, 2022
本研究讨论了对抗者攻击在训练数据中恶意注入攻击数据(即污染数据),从而提高模型信息泄漏,并成功实现了基于属性推断的攻击方法。在两个数据集上的实验中,攻击准确率在 90% 以上,污染率在 9-10% 之间。
Jan, 2021
本文研究机器学习模型在训练时通过数据毒化攻击注入恶意数据点的危害以及数据清洗防御措施的不足。通过协调毒化点放置位置和基于约束条件设计攻击的方式,开发三种不同方法规避现有的数据清洗防御措施。这些攻击方法均基于耗时的二级规划问题,并通过影响函数,极小 - 极大假说和 Karush-Kuhn-Tucker(KKT)条件来实现。我们的实验结果表明需要开发更稳健的数据清洗防御措施以应对数据毒化攻击的威胁。
Nov, 2018