基于随机选择的认证防御数据污染攻击的框架
本研究发现了一种对具有证明鲁棒性的分类器构成威胁的数据污染攻击,并提出了一种新型双层优化数据污染攻击,可降低其整个目标类别的平均有保障半径(ACR),以及降低 30%以上的目标类别平均有保障半径(ACR)
Dec, 2020
利用 kNN 和 rNN 内在的多数投票机制可以提供针对数据污染攻击和后门攻击的保护,并且我们的评估结果表明 kNN 和 rNN 的内在保护机制胜过目前最先进的合格防御。
Dec, 2020
对使用用户提供数据训练的机器学习系统进行的数据毒化攻击问题进行了探讨,构建了数据异常移除后采用经验风险最小化的防御方法下的攻击损失上限并给出了攻击方法,检验了在 MNIST-1-7,Dogfish 数据集上其防御能力较强,而在 IMDB 情感数据集上加入 3% 的毒化数据可将测试误差从 12% 提升至 23%。
Jun, 2017
通过利用差分隐私和采样高斯机制,我们的模型对有限数量的有毒样本提供了确保每个测试实例预测不变的保证,从而提供了超过以前认证提供的两倍以上的对抗鲁棒性。
Aug, 2023
现代机器学习流程利用大量公开数据,导致无法保证数据质量,使得模型容易遭受中毒和后门攻击。本论文提出了一个框架,首次提供了有关使用潜在操纵数据进行训练的模型行为的可证明保证。该框架通过使用凸松弛来近似计算可能的参数更新集合,限制了任何梯度下降学习算法的所有可达参数集合,并提供模型性能和后门成功率的最坏情况行为的界限。该方法在能源消耗、医学成像和自动驾驶等应用的多个真实世界数据集上进行了演示。
Jun, 2024
本文研究了深度图像分类模型中毒的问题,提出了两种防御方案进行后处理,利用少量的受信任的图像标签对修复模型,防御效果优于现有的方案,并指出了检测 / 鲁棒性权衡关系和攻击的适应能力问题。
May, 2023
本文提出了一种基于过滤和更新策略的深度神经网络反向攻击样本优化方法,从而提高了毒化数据的效率。通过在 CIFAR-10 和 ImageNet-10 数据集上的实验结果验证了该方法的有效性。
Apr, 2022
本研究重点改进了从样本选择角度提高后门攻击的注入效率,并提出了一种名为改进过滤和更新策略(FUS++)的选择策略,实验证明该策略的攻击性能显著高于随机选择的攻击性能。
Oct, 2023
本文研究了机器学习训练集中存在的数据污染攻击以及集成学习中的 Bootstrap Aggregating 方法可以预防此类攻击。我们证明了 Bagging 可以在随机采样训练集的基础上使用多个基础模型进行学习,并在测试时使用多数表决方法进行预测,在受到污染的数据范围内,仍然能够是预测结果正确的概率保持不变。我们在 MNIST 和 CIFAR10 数据集上进行了实验,证明了该方法的正确性,同时开源代码供参考。
Aug, 2020
提出了一种基于系统化测试的方法来证明和证伪 k - 最近邻(KNN)算法的数据污染鲁棒性,该方法在抽象域中进行超逼近分析,缩小搜索空间,在具体域中进行系统化测试,查找实际违规情况,并显著优于现有技术。
Jul, 2023