EMNLPApr, 2018

生成自然语言对抗样本

PDF
TL;DR通过黑盒基于人口的优化算法生成有迷惑性的语义和语法类似的对抗样本，不仅能提高情感分析和文本蕴涵模型的错误率，还能在 20 名人类注释者中得到 92.3% 的标签正确分类。进一步讨论了对抗训练作为一种防御的尝试，但未能产生改进，说明了这种对抗样本的强大和多样性。我们希望此研究能够鼓励研究人员追求提高自然语言域下深度神经网络的鲁棒性。
deep neural networksadversarial examplessentiment analysistextual entailmentnatural language domain
发现论文，激发创造
  • 生成自然对抗样本

    本文提出了一种使用生成敌对网络在语义空间中搜索自然和易读的对抗性样本的框架，以验证黑盒子分类器的鲁棒性，并证明该方法可在图像分类，文本蕴含和机器翻译等广泛应用中有效。

    Oct, 2017

  • 人类和机器生成的文本分类词级对抗样本对比

    本研究探讨了在维持语义和语法约束的前提下进行对抗样本攻击的可行性，通过 crowdsourcing 实验发现人类可以通过语义保持的词汇替换生成大量的对抗样本，这些人类生成的对抗样本虽然比最好的算法更加高效，但在自然性、情感及语法方面的表现并不高于最佳算法。

    Sep, 2021

  • 自然语言处理中深度学习模型的对抗攻击调查

    该研究综述了最近针对文本深度神经网络攻击的研究。通过研究，讨论了现有攻击对文本数据不可直接应用的问题，并提出了关于这个话题的建议。

    Jan, 2019

  • 使用深度强化模型为文本分类器生成黑盒对抗样本

    提出了一种基于强化学习的方法，在黑盒设置中生成对抗性示例，能够成功地欺骗针对 IMDB 情感分类任务和 AG 新闻语料库新闻分类任务的模型，并且生成的对抗示例保留了原始文本的语义。

    Sep, 2019

  • 文本中健壮的深度神经网络：一项调查

    本文对英语和中文文本领域的生成对抗性文本的对抗攻击和防御方法进行了全面的调查，并基于干扰单位对现有的对抗技术进行分类，从不同的自然语言处理任务的视角介绍了对抗技术，并从根源上探讨了领域中对抗攻击和防御的挑战和未来研究方向。

    Feb, 2019

  • 一种基于几何形态的攻击方法，用于生成自然语言对抗样本

    本文介绍了一种用于生成自然语言对抗性样本的几何灵感攻击方法，该攻击通过迭代逼近深度神经网络（DNNs）的决策边界生成对抗性样本，并实验证明该攻击方法可以快速欺骗自然语言模型，并表明对抗训练可以提高模型对我们的攻击方法的鲁棒性。

    Oct, 2020

  • 在硬标签黑盒设置中生成自然语言攻击

    该研究提出了一种决策式的攻击策略，利用基于人口统计的优化算法，通过仅观察目标模型预测的前一标签，制作出可信且语义相似的对抗性例子。与先前文献中提出的攻击相比，在高度限制的情况下，成功率更高，被替换单词比例更低。

    Dec, 2020

  • 语义对抗样本

    本文提出了一种新类的对抗样本 ——“语义对抗样本”，即通过对图像进行任意扰动来欺骗模型，但修改后的图像在语义上代表的仍是原始图像，通过构建约束优化问题和基于人类认知系统的形状偏置特性的对抗变换，生成对抗图像的颜色转移极大影响了 Deep neural networks 模型精度。

    Mar, 2018

  • 识别生成单词级对抗样本的人类策略

    本研究分析了人类如何生成针对细调 Transformer 模型的自然性和语法正确性保持的词级对抗性示例，通过探索人类工作者在生成过程中的行为模式，我们识别出人类更喜欢选择哪些单词进行对抗替换以及何时何地进行替换。研究结果可用于启发利用人类策略制定更强大的自然语言处理模型。

    Oct, 2022

  • 基于情感分析的新对抗图像检测

    本研究提出了一种新的对抗性样本检测器，使用情感分析和神经网络中的隐藏层特征映射来对检测模型进行优化。实验结果表明，该检测器在检测对 ResNet 和 Inception 中性网络在 CIFAR-10、CIFAR-100 和 SVHN 数据集上最新攻击时，优于目前的检测算法，仅具有约 200 万参数，耗时少于 4.6 毫秒。

    May, 2023