数据污染下的时间稳健性
本文研究了深度图像分类模型中毒的问题,提出了两种防御方案进行后处理,利用少量的受信任的图像标签对修复模型,防御效果优于现有的方案,并指出了检测 / 鲁棒性权衡关系和攻击的适应能力问题。
May, 2023
现代机器学习流程利用大量公开数据,导致无法保证数据质量,使得模型容易遭受中毒和后门攻击。本论文提出了一个框架,首次提供了有关使用潜在操纵数据进行训练的模型行为的可证明保证。该框架通过使用凸松弛来近似计算可能的参数更新集合,限制了任何梯度下降学习算法的所有可达参数集合,并提供模型性能和后门成功率的最坏情况行为的界限。该方法在能源消耗、医学成像和自动驾驶等应用的多个真实世界数据集上进行了演示。
Jun, 2024
本文对过去 15 年来关于机器学习中中毒攻击和防御的 100 多篇论文进行了全面的系统化概括和批判性点评,主要关注于视觉应用程序,并讨论了当前的限制和开放性的研究问题。
May, 2022
本文研究机器学习模型在训练时通过数据毒化攻击注入恶意数据点的危害以及数据清洗防御措施的不足。通过协调毒化点放置位置和基于约束条件设计攻击的方式,开发三种不同方法规避现有的数据清洗防御措施。这些攻击方法均基于耗时的二级规划问题,并通过影响函数,极小 - 极大假说和 Karush-Kuhn-Tucker(KKT)条件来实现。我们的实验结果表明需要开发更稳健的数据清洗防御措施以应对数据毒化攻击的威胁。
Nov, 2018
对使用用户提供数据训练的机器学习系统进行的数据毒化攻击问题进行了探讨,构建了数据异常移除后采用经验风险最小化的防御方法下的攻击损失上限并给出了攻击方法,检验了在 MNIST-1-7,Dogfish 数据集上其防御能力较强,而在 IMDB 情感数据集上加入 3% 的毒化数据可将测试误差从 12% 提升至 23%。
Jun, 2017
用于训练数据的小扰动攻击机器学习模型的可用性数据中毒攻击有可能泛化到不同的学习算法和范式,并提出了可转移的中毒攻击来生成高频中毒扰动,该攻击具有显著改善的可转移性。
Oct, 2023
本研究探讨了对洁净标签下的中毒攻击的防御方法,并提出了一种在迁移学习环境中检测和过滤被中毒数据点的新方法,通过实验分析表明,我们的方法能够在特征向量空间中有效区分有效的中毒点和干净点,并通过多个架构、数据集和中毒预算的比较,充分评估了我们的方法,结果显示我们的方案在所有实验设置中均优于现有方法的防御率和最终训练模型性能。
Mar, 2024
本文研究了数据污染和后门攻击对训练数据的影响,发现数据污染是常见的安全威胁之一,但目前还不清楚这些攻击方法的危害程度,我们通过开发标准基准来促进未来工作的公平比较。
Jun, 2020
本文综述了机器学习分类器训练中的数据污染攻击的安全漏洞,并介绍了几种可行的检测和缓解机制,比较了不同方法的性能以及固有属性,如可靠性、隐私和可解释性。同时,提供了未来研究方向的参考。
Feb, 2022