Jun, 2021

对抗样本是制造强毒药的因素

PDF
TL;DR本文研究对数据进行污染的方法，发现对预先训练的模型攻击的对抗性示例比传统攻击方法更有效。在分配正确标签时，对抗性示例包含有用的语义信息，可以用于训练；否则，不能用于训练。该方法与现有方法相比显著提高了安全数据发布的效果，我们发布了毒化版本的 ImageNet（ImageNet-P）以鼓励对这种数据混淆形式的研究。
发现论文，激发创造
  • 通过异常检测在污染攻击中检测对抗训练样例

    本文提出一种防御机制来弥补机器学习中数据毒化的影响，该机制基于离群值检测来检测所谓的最优攻击策略生成的对抗样本与真实样本之间的差异。

    Feb, 2018

  • 使用生成对抗网络进行的投毒攻击

    本文介绍了一种新的生成模型，用于对机器学习分类器进行攻击，并提出了一种生成式对抗网络，包括生成器、鉴别器和目标分类器，以模拟在现实攻击中可以预期的检测限制，进而确定底层数据分布的易受数据中毒攻击的区域。

    Jun, 2019

  • 恶意标注和污染攻击下的主动学习

    本文介绍了一种高效的主动学习方法，它结合了敌对再训练技术，可以生成更多的人工标注数据集而不增加标注预算，产生的敌对样本也提供了一种测量模型易受攻击的方式。作者在减小的 CIFAR-10 数据集上对其性能进行了充分评估，得出该方法有效对抗恶意袭击的结论。

    Jan, 2021

  • 有毒的青蛙！ 针对神经网络的目标性清标签中毒攻击

    本文探讨在机器学习模型中的数据污染问题，提出了基于优化的毒化方法和一种水印策略，并使用含有毒素的图片控制了图像分类器的行为。

    Apr, 2018

  • 物理世界中的对抗样本

    本文研究表明即使在物理世界的情境下，机器学习系统仍然容易受到敌对样本的攻击，并通过将手机摄像头获取的对抗性图像输入 ImageNet Inception 分类器，并测量系统的分类精度来证明了这一点。

    Jul, 2016

  • 数据中毒了吗？防御神经网络数据中毒攻击

    本研究探讨了对洁净标签下的中毒攻击的防御方法，并提出了一种在迁移学习环境中检测和过滤被中毒数据点的新方法，通过实验分析表明，我们的方法能够在特征向量空间中有效区分有效的中毒点和干净点，并通过多个架构、数据集和中毒预算的比较，充分评估了我们的方法，结果显示我们的方案在所有实验设置中均优于现有方法的防御率和最终训练模型性能。

    Mar, 2024

  • 废物利用：通过对抗样本抵抗对抗样本

    通过在预先训练好的外部模型上找到敌对样本，我们将有害的攻击过程转化为有用的防御机制，并且我们的防御方法比先前的方法更为强大和经济。

    Nov, 2019

  • 对抗样本是噪声下测试误差的自然结果

    该研究提供了实证和理论证据表明对抗鲁棒性和图像损坏鲁棒性研究项目之间存在紧密联系，从而建议未来的对抗性防御应该考虑评估它们的方法对分布转移的鲁棒性。

    Jan, 2019

  • 规模化对抗机器学习

    将对抗训练应用于 ImageNet，并提出了如何将对抗训练成功扩展到大型模型和数据集的建议，发现对抗训练能增加对单步攻击方法的鲁棒性，单步攻击方法比多步攻击方法更难以传递，使其成为发动黑盒攻击的最佳选择。研究还揭示了 “标签泄漏” 效应，因为对抗样本构建过程使用真实标签，模型可以学习利用构建过程的规律，使经过对抗训练的模型在对抗示例上表现比正常示例更好。

    Nov, 2016

  • 针对假新闻检测的对抗性数据污染：如何使模型对目标新闻进行错误分类而不修改该新闻

    在这篇立场论文中，我们分析了在不允许操纵原始目标新闻的情况下如何攻击在线学习检测器的性能，以及攻击者如何潜在地引入污染数据来操纵在线学习方法的行为。我们的初步研究发现，基于复杂性和攻击类型，逻辑回归模型对此具有不同的敏感性。

    Dec, 2023