Jan, 2018

生成黑盒对抗文本序列以躲避深度学习分类器

PDF
TL;DR本文提出了一种称为 DeepWordBug 的算法，它可以在黑盒设置下生成小的文本扰动以强制深度学习分类器错误地分类文本输入，并通过基于词的 LSTM 和基于字符的 CNN 等八个真实世界文本数据集的实验表明，我们的算法可以有效地降低当前最先进的深度学习模型的预测准确性。
adversarial samplesblack-box attacksdeepwordbug algorithmscoring strategiesdeep-learning models
发现论文，激发创造
  • 深度文本分类存在欺诈性

    本文介绍了一种有效的方法来生成文本对抗样本，证明了基于深度神经网络的文本分类器同样容易受到对抗样本的攻击。通过计算代价梯度或者生成一系列遮盖测试样本，可以识别用于分类的文本信息，基于这些信息，设计了三种扰动策略（插入、修改、删除）来生成对抗样本。实验表明，基于我们方法生成的对抗样本可以成功欺骗基于字符和词语所的 DNN 文本分类器，并且可以扰动到任意的分类类别而不影响其实用性，同时所引入的扰动难以被发现。

    Apr, 2017

  • 使用深度强化模型为文本分类器生成黑盒对抗样本

    提出了一种基于强化学习的方法，在黑盒设置中生成对抗性示例，能够成功地欺骗针对 IMDB 情感分类任务和 AG 新闻语料库新闻分类任务的模型，并且生成的对抗示例保留了原始文本的语义。

    Sep, 2019

  • TextDecepter：针对文本分类器的硬标签黑盒攻击

    本文介绍了一种针对自然语言处理分类器的黑盒硬标签攻击的新方法，其中没有模型信息被公开，攻击者只能查询模型以获得分类器的最终决策，该攻击场景适用于用于情感分析和有毒内容检测等安全敏感应用的真实世界黑盒模型。

    Aug, 2020

  • 关于通过扰动潜在表示进行文本分类的对抗性示例

    通过使用分类器的梯度，我们创建了一个衡量文本分类器鲁棒性的框架。

    May, 2024

  • 神经文本检测器的高效黑盒对抗攻击

    通过调整参数、优化提示语和进行字符级别的变异，我们研究了改变 GPT-3.5 生成的文本的三种简单且资源高效的策略，这些策略在人类不会察觉但能使神经文本检测器误分类的文本中特别有效。

    Nov, 2023

  • TextBugger：针对现实应用生成对抗性文本

    本文探讨了深度学习文本理解中的安全漏洞，提出一种通用的生成对抗性文本的攻击框架 ——TextBugger，其攻击成功率高、难以检测、效率高，可有效用于情感分析等领域。同时，文章提出了一些有效措施以缓解这种攻击，并探讨了未来的发展方向。

    Dec, 2018

  • 在硬标签黑盒设置中生成自然语言攻击

    该研究提出了一种决策式的攻击策略，利用基于人口统计的优化算法，通过仅观察目标模型预测的前一标签，制作出可信且语义相似的对抗性例子。与先前文献中提出的攻击相比，在高度限制的情况下，成功率更高，被替换单词比例更低。

    Dec, 2020

  • 基于突变的神经文本检测器对抗攻击

    本论文提出了基于字符和词语的变异操作方法，用于生成对抗样本以攻击最先进的自然文本检测器，从而逐渐减少机器学习模型和分类器的预测准确性。

    Feb, 2023

  • 生成自然语言对抗样本

    通过黑盒基于人口的优化算法生成有迷惑性的语义和语法类似的对抗样本，不仅能提高情感分析和文本蕴涵模型的错误率，还能在 20 名人类注释者中得到 92.3% 的标签正确分类。进一步讨论了对抗训练作为一种防御的尝试，但未能产生改进，说明了这种对抗样本的强大和多样性。我们希望此研究能够鼓励研究人员追求提高自然语言域下深度神经网络的鲁棒性。

    Apr, 2018

  • 关于字符级神经机器翻译的对抗样本

    本研究提出了一种基于字符串编辑的白盒敌手算法，并在字符级别神经机器翻译模型中使用两种新类型的攻击来比较黑盒和白盒对抗例子的强度。该研究发现，白盒对抗例子在不同的攻击场景中都会显著强于黑盒对抗例子，并证明在对抗训练中取得了显著的鲁棒性提高。

    Jun, 2018