ECCVSep, 2019

深度 k-NN 防御干净标签数据毒化攻击

PDF
TL;DR本论文提出了一种有效的深度 k-NN 策略作为可靠的防御干净标签攻击的方法，并在 CIFAR-10 数据集上展示了它的高检测准确性、识别出超过 99% 的攻击性样本并能有效地去除它们，同时无损模型性能。
clean-label data poisoningadversarial attackmachine learning systemsdeep k-nn defensecifar-10 dataset
发现论文，激发创造
  • 数据中毒了吗？防御神经网络数据中毒攻击

    本研究探讨了对洁净标签下的中毒攻击的防御方法，并提出了一种在迁移学习环境中检测和过滤被中毒数据点的新方法，通过实验分析表明，我们的方法能够在特征向量空间中有效区分有效的中毒点和干净点，并通过多个架构、数据集和中毒预算的比较，充分评估了我们的方法，结果显示我们的方案在所有实验设置中均优于现有方法的防御率和最终训练模型性能。

    Mar, 2024

  • 最近邻居对数据恶意植入和后门攻击的认证鲁棒性

    利用 kNN 和 rNN 内在的多数投票机制可以提供针对数据污染攻击和后门攻击的保护，并且我们的评估结果表明 kNN 和 rNN 的内在保护机制胜过目前最先进的合格防御。

    Dec, 2020

  • 数据毒化攻击的认证防御

    对使用用户提供数据训练的机器学习系统进行的数据毒化攻击问题进行了探讨，构建了数据异常移除后采用经验风险最小化的防御方法下的攻击损失上限并给出了攻击方法，检验了在 MNIST-1-7，Dogfish 数据集上其防御能力较强，而在 IMDB 情感数据集上加入 3% 的毒化数据可将测试误差从 12% 提升至 23%。

    Jun, 2017

  • 基于干净标签的深度神经网络可传递投毒攻击

    本研究介绍了一种新的 “多面体攻击” 方式，其中毒害图像被设计成包围目标图像特征空间，使用 dropout 方法帮助提高攻击的可转移性，成功率超过 50％，仅污染了训练集的 1％，并可在没有访问受害者网络输出、架构或（在某些情况下）训练数据的情况下实现攻击。

    May, 2019

  • 更强的数据投毒攻击突破数据清洗防御

    本文研究机器学习模型在训练时通过数据毒化攻击注入恶意数据点的危害以及数据清洗防御措施的不足。通过协调毒化点放置位置和基于约束条件设计攻击的方式，开发三种不同方法规避现有的数据清洗防御措施。这些攻击方法均基于耗时的二级规划问题，并通过影响函数，极小 - 极大假说和 Karush-Kuhn-Tucker（KKT）条件来实现。我们的实验结果表明需要开发更稳健的数据清洗防御措施以应对数据毒化攻击的威胁。

    Nov, 2018

  • 扩散去噪作为清洗标签中毒的认证防御

    我们提出了一种经过认证的防御方法来对抗无标签污染攻击，通过使用扩散模型对受损的训练数据进行处理，我们在七种无标签污染攻击中将攻击成功率降低到 0-16%，同时几乎不影响测试准确率。与现有的对抗无标签攻击的防御方法相比，我们的防御方法在降低攻击成功率和保持模型效用方面表现最好。我们的结果强调未来需要研究开发更强大的无标签攻击方法，并将我们的认证而实用的防御方法作为评估这些攻击方法的强有力的基准。

    Mar, 2024

  • 数据污染攻击中的不可检测性与鲁棒性：选择你的毒药

    本文研究了深度图像分类模型中毒的问题，提出了两种防御方案进行后处理，利用少量的受信任的图像标签对修复模型，防御效果优于现有的方案，并指出了检测 / 鲁棒性权衡关系和攻击的适应能力问题。

    May, 2023

  • 毒药为疗法：在深度神经网络中检测和中和可变大小的后门攻击

    提出了一种有效的对抗性样本（backdoor）防御方法，它由多个子模块组成，能够在检测到 backdoor 的同时进行筛选清洗，并通过提取毒信号的方式中和攻击。该防御方法在 CIFAR10 数据集上针对 9 种不同的目标基类配对均表现出较好的效果。

    Nov, 2019

  • 有毒的青蛙！ 针对神经网络的目标性清标签中毒攻击

    本文探讨在机器学习模型中的数据污染问题，提出了基于优化的毒化方法和一种水印策略，并使用含有毒素的图片控制了图像分类器的行为。

    Apr, 2018

  • 文本分类系统中的对抗清洁标签后门攻击与防御

    本文主要介绍了一种新的对抗性干净标签攻击方法，可通过对类内训练样本的对抗性扰动对训练集进行污染，同时发现一些之前文本领域仅用于标签翻转攻击的防御方法并不一定在清洗标签攻击中有效，因此需要文本特定的防御方法。

    May, 2023