Mar, 2017
神经网络生成对抗攻击方法
Generative Poisoning Attack Method Against Neural Networks
Chaofei Yang, Qing Wu, Hai Li, Yiran Chen
TL;DR本论文研究了在机器学习算法中,特别是深度神经网络中毒攻击的方法,提出了生成毒瘤数据的生成方法,并设计了一种检测方法来检测这种攻击。实验结果表明,与直接梯度法相比,这种方法可以加速毒瘤数据的生成速度高达 239.38 倍,且模型的准确度下降略微较低。
Abstract
poisoning attack is identified as a severe security threat to machine
learning algorithms. In many applications, for example, deep neural network
(DNN) models collect public data as the inputs to perform re-training, where
the input data can be poisoned. Although →
发现论文,激发创造
使用生成对抗网络进行的投毒攻击
本文介绍了一种新的生成模型,用于对机器学习分类器进行攻击,并提出了一种生成式对抗网络,包括生成器、鉴别器和目标分类器,以模拟在现实攻击中可以预期的检测限制,进而确定底层数据分布的易受数据中毒攻击的区域。
Jun, 2019
强制生成模型退化:数据注毒攻击的力量
通过细粒度的实验,我们展示了在大语言模型的精调阶段仅仅使用总数据样本的 1% 即可成功地对大语言模型进行毒化,这是针对自然语言生成任务进行的首次系统性理解并考虑了多种触发方式和攻击设置的毒化攻击。
Dec, 2023
数据中毒了吗?防御神经网络数据中毒攻击
本研究探讨了对洁净标签下的中毒攻击的防御方法,并提出了一种在迁移学习环境中检测和过滤被中毒数据点的新方法,通过实验分析表明,我们的方法能够在特征向量空间中有效区分有效的中毒点和干净点,并通过多个架构、数据集和中毒预算的比较,充分评估了我们的方法,结果显示我们的方案在所有实验设置中均优于现有方法的防御率和最终训练模型性能。
Mar, 2024
支持向量机的中毒攻击
本论文考察了一系列针对支持向量机的中毒攻击,通过注入特制的训练数据来增加 SVM 的测试误差。该攻击使用了梯度上升策略并能够在输入空间内进行构造,即使对于非线性内核也适用,并可以可靠地识别验证误差曲面的良好局部最大值,从而显著提高分类器的测试误差。
Jun, 2012
人工智能中的毒化攻击与防御:一项调研
本文综述了机器学习分类器训练中的数据污染攻击的安全漏洞,并介绍了几种可行的检测和缓解机制,比较了不同方法的性能以及固有属性,如可靠性、隐私和可解释性。同时,提供了未来研究方向的参考。
Feb, 2022
巫婆之酿:通过梯度匹配实现工业规模数据毒化
本文针对数据污染攻击进行研究,发现匹配恶意示例梯度方向的攻击方法能够对现代深度网络造成威胁,且现有的防御策略并不能有效对抗此类攻击,进一步证明数据污染对大规模深度学习系统是一个可信的威胁。
Sep, 2020