数据中毒了吗？防御神经网络数据中毒攻击

Mar, 2024

数据中毒了吗？防御神经网络数据中毒攻击

Have You Poisoned My Data? Defending Neural Networks against Data Poisoning

Fabio De Gaspari, Dorjan Hitaj, Luigi V. Mancini

TL;DR本研究探讨了对洁净标签下的中毒攻击的防御方法，并提出了一种在迁移学习环境中检测和过滤被中毒数据点的新方法，通过实验分析表明，我们的方法能够在特征向量空间中有效区分有效的中毒点和干净点，并通过多个架构、数据集和中毒预算的比较，充分评估了我们的方法，结果显示我们的方案在所有实验设置中均优于现有方法的防御率和最终训练模型性能。

Abstract

The unprecedented availability of training data fueled the rapid development of powerful neural networks in recent years. However, the need for such large amounts of data leads to potential threats such as

training data neural networks poisoning attacks transfer learning characteristic vector

发现论文，激发创造

有毒的青蛙！针对神经网络的目标性清标签中毒攻击

本文探讨在机器学习模型中的数据污染问题，提出了基于优化的毒化方法和一种水印策略，并使用含有毒素的图片控制了图像分类器的行为。

Apr, 2018

野外模式再載：機器學習對抗訓練數據毒化安全綜述

本文对过去 15 年来关于机器学习中中毒攻击和防御的 100 多篇论文进行了全面的系统化概括和批判性点评，主要关注于视觉应用程序，并讨论了当前的限制和开放性的研究问题。

May, 2022

数据毒化攻击的认证防御

对使用用户提供数据训练的机器学习系统进行的数据毒化攻击问题进行了探讨，构建了数据异常移除后采用经验风险最小化的防御方法下的攻击损失上限并给出了攻击方法，检验了在 MNIST-1-7，Dogfish 数据集上其防御能力较强，而在 IMDB 情感数据集上加入 3% 的毒化数据可将测试误差从 12% 提升至 23%。

Jun, 2017

更强的数据投毒攻击突破数据清洗防御

本文研究机器学习模型在训练时通过数据毒化攻击注入恶意数据点的危害以及数据清洗防御措施的不足。通过协调毒化点放置位置和基于约束条件设计攻击的方式，开发三种不同方法规避现有的数据清洗防御措施。这些攻击方法均基于耗时的二级规划问题，并通过影响函数，极小 - 极大假说和 Karush-Kuhn-Tucker（KKT）条件来实现。我们的实验结果表明需要开发更稳健的数据清洗防御措施以应对数据毒化攻击的威胁。

Nov, 2018

基于干净标签的深度神经网络可传递投毒攻击

本研究介绍了一种新的 “多面体攻击” 方式，其中毒害图像被设计成包围目标图像特征空间，使用 dropout 方法帮助提高攻击的可转移性，成功率超过 50％，仅污染了训练集的 1％，并可在没有访问受害者网络输出、架构或（在某些情况下）训练数据的情况下实现攻击。

May, 2019

人工智能中的毒化攻击与防御：一项调研

本文综述了机器学习分类器训练中的数据污染攻击的安全漏洞，并介绍了几种可行的检测和缓解机制，比较了不同方法的性能以及固有属性，如可靠性、隐私和可解释性。同时，提供了未来研究方向的参考。

Feb, 2022

通过异常检测在污染攻击中检测对抗训练样例

本文提出一种防御机制来弥补机器学习中数据毒化的影响，该机制基于离群值检测来检测所谓的最优攻击策略生成的对抗样本与真实样本之间的差异。

Feb, 2018

使用生成对抗网络进行的投毒攻击

本文介绍了一种新的生成模型，用于对机器学习分类器进行攻击，并提出了一种生成式对抗网络，包括生成器、鉴别器和目标分类器，以模拟在现实攻击中可以预期的检测限制，进而确定底层数据分布的易受数据中毒攻击的区域。

Jun, 2019

元毒：实用的通用干净标签数据投毒

MetaPoison 是一种第一阶段方法，它通过元学习来近似二级问题，并制造了能欺骗神经网络的有毒数据，解决了深度模型中数据污染的问题，此举可攻击黑盒 API。

Apr, 2020

可转移的可用性毒化攻击

用于训练数据的小扰动攻击机器学习模型的可用性数据中毒攻击有可能泛化到不同的学习算法和范式，并提出了可转移的中毒攻击来生成高频中毒扰动，该攻击具有显著改善的可转移性。

Oct, 2023