本文研究机器学习模型在训练时通过数据毒化攻击注入恶意数据点的危害以及数据清洗防御措施的不足。通过协调毒化点放置位置和基于约束条件设计攻击的方式,开发三种不同方法规避现有的数据清洗防御措施。这些攻击方法均基于耗时的二级规划问题,并通过影响函数,极小-极大假说和 Karush-Kuhn-Tucker(KKT)条件来实现。我们的实验结果表明需要开发更稳健的数据清洗防御措施以应对数据毒化攻击的威胁。
Nov, 2018
MetaPoison是一种第一阶段方法,它通过元学习来近似二级问题,并制造了能欺骗神经网络的有毒数据,解决了深度模型中数据污染的问题,此举可攻击黑盒API。
Apr, 2020
提出了一种基于不兼容性属性的新型聚类机制,用于对抗深度神经网络面对的后门攻击,以识别和消除恶意数据,成功将攻击成功率降至低于1%。
May, 2021
本文对过去15年来关于机器学习中中毒攻击和防御的100多篇论文进行了全面的系统化概括和批判性点评,主要关注于视觉应用程序,并讨论了当前的限制和开放性的研究问题。
May, 2022
此论文提出了数据污染及其危害的基本概念,阐述了所谓的致命剂量猜想,为开发更强大的数据污染防御策略提供了实用方法,并通过数据扩充来验证DPA的有效性。
Aug, 2022
本文研究了深度图像分类模型中毒的问题,提出了两种防御方案进行后处理,利用少量的受信任的图像标签对修复模型,防御效果优于现有的方案,并指出了检测/鲁棒性权衡关系和攻击的适应能力问题。
May, 2023
本论文重点评估了代表聚合防御的Deep Partition Aggregation的实用方面,包括效率、性能和鲁棒性,通过使用ImageNet进行评估,提供了有价值的洞见,以缓解数据中毒的威胁。
Jun, 2023
该论文提出了一种新颖的完全通用框架DIVA(检测隐形攻击),它仅通过分析潜在的被污染数据集来检测攻击,应用于一般的污染攻击,并在此论文中测试了DIVA对标签翻转攻击的效果。
Oct, 2023
在这篇论文中,我们研究了预训练特征提取器应用于后续任务时的数据污染攻击,主要包括输入空间攻击和特征目标攻击两种类型,实验结果表明后者对迁移学习更具威胁性。
Feb, 2024
本研究探讨了对洁净标签下的中毒攻击的防御方法,并提出了一种在迁移学习环境中检测和过滤被中毒数据点的新方法,通过实验分析表明,我们的方法能够在特征向量空间中有效区分有效的中毒点和干净点,并通过多个架构、数据集和中毒预算的比较,充分评估了我们的方法,结果显示我们的方案在所有实验设置中均优于现有方法的防御率和最终训练模型性能。
Mar, 2024