本文介绍了在文本领域将反对训练和虚拟反对训练应用于使用递归神经网络中的单词嵌入，并在多个基准半监督和纯监督任务上实现了最先进结果。

May, 2016

使用对抗训练机制可以更好地规范神经语言模型中的过度拟合问题，增加嵌入向量的多样性并提高在机器翻译领域的性能。

Jun, 2019

该论文针对自然语言处理（NLP）中的对抗训练的方法应用于词嵌入空间进行改进，使其具有可解释性，从而实现在任务执行时的性能提升。

May, 2018

本研究介绍了一种称为 A2T 的简单和改进的馅饼对抗训练过程，用于 NLP 模型的训练，可以使用更便宜的对手训练出具有鲁棒性的 NLP 模型，提高 NLP 模型的标准准确性、跨领域泛化性和可解释性。

Sep, 2021

本文比较了几种对抗训练语言模型的不同方法，包括预训练数据增强，输入空间扰动和嵌入空间扰动，发现输入空间扰动或预训练数据增强可以提高鲁棒性，而使用嵌入空间扰动可以显著提高泛化性。通过神经元的语言相关性分析表明，泛化性的提高是由于 “更加专业化” 的神经元。这是第一篇对对抗训练语言模型生成不同对抗示例方法进行深度定性分析的工作。

Nov, 2022

本文基于 graph convolutional networks (GCNs) 提出了 batch virtual adversarial training (BVAT) 的正则化方法，并验证了其在半监督节点分类任务中较好的效果。

Feb, 2019

通过在嵌入空间进行单步扰动生成和扰动初始化的研究，我们提出了一种快速对抗训练（FAT）方法，以改善模型在无同义词感知情况下的鲁棒性，实验证明 FAT 显著提高了 BERT 模型在各种攻击下的鲁棒性。

Jan, 2024

该论文提出了一种名为 Virtual Data Augmentation（VDA）的数据增强技术，通过基于原始令牌嵌入构建混合多项式来增加语义相关且具有充分多样性的虚拟数据嵌入，其中掩码语言模型保证了语义相关性，高斯噪声提供增强的多样性，并提出了一种规则化训练策略以平衡两个方面，大量实验证明该方法能提高 pre-trained language models 的鲁棒性和减轻对对抗攻击的表现下降。

Sep, 2021

该研究提出了一种基于对抗训练的大规模视觉语言表示学习方法 VILLA，该方法在嵌入空间内进行对抗训练，取得了新的最优性能。

Jun, 2020

本文提出了一种新的神经机器翻译对抗性数据增强方法，称之为 AdvAug，使用虚拟句子的嵌入来训练 NMT 模型，通过实验证明其取得了显著的效果提升。

Jun, 2020