本文介绍了在文本领域将反对训练和虚拟反对训练应用于使用递归神经网络中的单词嵌入，并在多个基准半监督和纯监督任务上实现了最先进结果。

May, 2016

本文提出了一种将梯度攻击方法应用于文本领域的框架，通过在嵌入空间中搜索对抗样本来解决离散输入空间中的困难，并使用 Word Mover's Distance（WMD）量化对抗性文本的质量，实验证明该框架可以成功生成高质量的对抗性文本。

Jan, 2018

本文提出了一种树形自编码器和目标可控对抗攻击框架T3，可用于测试NLP模型的鲁棒性，特别是在情感分析和问题回答等领域，证明该框架生成的对抗文本能够成功地操纵NLP模型输出，并具有很高的可迁移性。

Dec, 2019

本文提出了一种基于标记的虚拟对抗训练方法，该方法在NLP任务中引入了生成嵌入空间中扰动的虚拟对抗训练，并使用标记级别的规范化球适当限制这些扰动，实验表明，该方法显著提高了BERT和ALBERT等预训练模型在多个任务中的性能。

Apr, 2020

本文提出了一种快速文本对抗攻击方法，称为基于同义词替换的快速梯度投影方法（FGPM），并将其与对抗性训练相结合，提出了一种文本防御方法，称为增强型Logit配对的对抗性训练（ATFL），实验证明，ATFL可以显著提高模型的稳健性并阻止对抗性示例的可转移性。

Aug, 2020

本文介绍了一种提高BERT自然语言模型对基于单词替代的对抗性攻击的鲁棒性的方法，该方法利用对比学习的对抗扰动来创建生成困难正例的单词级对抗攻击，实验结果表明我们的方法提高了BERT对四种不同基于单词替换的对抗性攻击的鲁棒性，结合对抗性训练可以获得比单一对抗性训练更高的鲁棒性。由于我们的方法仅使用未标记数据提高BERT的鲁棒性，因此可以使用大型文本数据集训练出抗击单词替换的对抗性攻击的强壮自然语言模型。

Jul, 2021

通过介绍 Semantics-Preserving-Encoder (SPE),提出了一种解决预先训练的文本编码器中存在的问题以及提高对抗性攻击例子质量的简单，全监督的句子嵌入技术，结果表明SPE显著提高了对抗性攻击的质量。

Nov, 2022

本文比较了几种对抗训练语言模型的不同方法，包括预训练数据增强，输入空间扰动和嵌入空间扰动，发现输入空间扰动或预训练数据增强可以提高鲁棒性，而使用嵌入空间扰动可以显著提高泛化性。通过神经元的语言相关性分析表明，泛化性的提高是由于“更加专业化”的神经元。这是第一篇对对抗训练语言模型生成不同对抗示例方法进行深度定性分析的工作。

Nov, 2022

在NLP领域缺乏第一阶梯度的鲁棒性评价框架，本文提出TextGrad，一种新的基于梯度驱动的攻击生成器，支持高准确性和高质量的文本鲁棒性评估，并通过实验验证了其在攻击生成和防御等方面的有效性。

Dec, 2022

通过强化学习算法训练的编码器-解码器重述模型生成多样化的对抗性示例，在两个文本分类数据集上实验证明该模型的成功率高于原始的重述模型，并且总体上比其他竞争性攻击更有效，同时讨论了关键设计选择如何影响生成的示例以及该方法的优势和弱点。

May, 2024