EMNLPOct, 2022

通过可挂载的子词替换进行字符级白盒对抗攻击来攻击变形金刚

PDF
TL;DR我们提出了第一个针对 transformer 模型的字符级白盒对抗攻击方法。我们的方法主要包含三个步骤：选择最脆弱的单词，将其拆分成次标记，以及使用适当的替换次标记。我们的实验结果表明，与先前的攻击方法相比，我们的方法在成功率和编辑距离方面都有更好的表现。
发现论文，激发创造
  • 基于梯度的对抗攻击：针对文本转换器

    本文提出了首个基于梯度的通用攻击转换器模型算法，通过搜索由连续矩阵参数化的对抗性样本分布实现梯度优化，并在各种自然语言任务中证明其白盒攻击表现的最先进性。此外，本文还展示使用对对抗分布进行采样实现的强大黑盒转移攻击匹配或超越现有方法，而仅需要硬标签输出。

    Apr, 2021

  • 一种简单且高效的对抗性词汇替换攻击方法

    本研究提出了一种简单而高效的方法，将对文本分类模型的人为攻击所需的平均查询次数减少了 3-30 倍，并且能够保持攻击效果。

    May, 2022

  • 关于字符级神经机器翻译的对抗样本

    本研究提出了一种基于字符串编辑的白盒敌手算法，并在字符级别神经机器翻译模型中使用两种新类型的攻击来比较黑盒和白盒对抗例子的强度。该研究发现，白盒对抗例子在不同的攻击场景中都会显著强于黑盒对抗例子，并证明在对抗训练中取得了显著的鲁棒性提高。

    Jun, 2018

  • HotFlip：白盒对文本分类进行对抗攻击

    该研究提出了一种有效的方法来生成白盒对抗样本，以欺骗字符级神经分类器，在一些操作后，能够大大降低其准确性，该方法依赖于原子翻转操作来交换一个标记为另一个标记，基于独热输入向量的梯度。通过使用一些语义保留约束，展示了 HotFlip 攻击也可以适用于词级别分类器，并且该方法效率高，可以进行对抗训练，使模型在测试时更加健壮。

    Dec, 2017

  • 基于组合优化的词级文本对抗攻击

    本文提出了一种新颖的攻击模型，采用语义元替换和粒子群优化算法处理词级攻击中不适当的搜索空间缩减方法和低效的优化算法，实验结果表明该模型相对于基线方法在攻击成功率方面显著提高，可生成更高质量的对抗样本并通过对抗训练提高受害模型的鲁棒性。

    Oct, 2019

  • 对抗性词语替换的可验证鲁棒性

    本文利用 Interval Bound Propagation（IBP）训练了第一个能够抵御包括词语替换在内的 label-preserving 转换攻击的 NLP 模型，该模型在情感分析与自然语言推理任务上取得了 75% 的对抗准确率，远高于传统训练模型和数据增广训练模型的 8% 和 35%。

    Sep, 2019

  • Charformer: 基于梯度的子词分词加速字符变换器

    该研究提出了使用渐变学习的子单词标记模块（GBST）作为深度 Transformer 模型 Charformer 的一部分来进行端到端学习，以在自然语言处理中改进字节级模型的性能。在英语 GLUE、多语言和噪声文本数据集上的结果表明，Charformer 在速度上快于标准字节级和子单词级 Transformers 28-100％，同时保持了有竞争力的质量。

    Jun, 2021

  • 针对基于 Transformer 的文本分类器的块状稀疏对抗攻击

    本文提出了一种基于梯度的对抗攻击方法，应用于基于 Transformer 的文本分类器中，实验结果表明，该攻击能够在保留句子语义的同时，对不同数据集上的 GPT-2 分类器准确率进行有效降低，通过对优化问题进行块稀疏约束，实现了对抗向量的小幅扰动。

    Mar, 2022

  • 字符级对抗攻击的重新审视

    通过引入 Charmer 方法，本研究在自然语言处理领域中的对抗攻击达到了高攻击成功率，生成高度相似的对抗性样本，并在 BERT 和 Llama 2 等模型上进行了测试，相较于之前的方法，在 BERT with SST-2 上提高了攻击成功率达 4.84 个百分点和 USE 相似度提高了 8 个百分点。

    May, 2024

  • 通过微调子词系统实现合理大小的基于字符级别的 Transformer NMT

    实现字符级别的 Transformer 架构通常需要非常深的架构，难以训练。本文提出一种通过在模型中将分词与字元结合进行初步训练，然后在字符级别上调整，从而实现不需要分词的神经机器翻译模型的方法，并且展示了这种方法更好地捕捉了语言形态现象和更加健壮，训练的代价相对较小。

    Apr, 2020