提出了一种基于虚拟对抗损失的正则化方法 - 一种关于条件标签分布的局部平滑度的新度量。虚拟对抗损失被定义为每个数据点周围条件标签分布对本地扰动的鲁棒性。我们的方法定义了无需标签信息的对抗方向，因此适用于半监督学习。在多个基准数据集上，通过熵最小化原理实现的 VAT 在半监督学习任务上实现了 SVHN 和 CIFAR-10 的最新性能。

Apr, 2017

本文提出了一种基于标记的虚拟对抗训练方法，该方法在 NLP 任务中引入了生成嵌入空间中扰动的虚拟对抗训练，并使用标记级别的规范化球适当限制这些扰动，实验表明，该方法显著提高了 BERT 和 ALBERT 等预训练模型在多个任务中的性能。

Apr, 2020

本文主要介绍了如何使用经过改进的对抗训练方法来解决网络嵌入过程中的过拟合问题，最终取得了较好的模型健壮性和泛化性能，并从节点分类和链接预测两个方面评估了模型的有效性。

Aug, 2019

本论文研究了只有少量标记数据可用时，正则化方法对各种分类模型的影响。研究比较了基于词嵌入的简单模型与复杂模型（CNN 和 BiLSTM），在有监督学习中，对抗训练可以进一步正则化模型。在有无标记的数据集时，可以使用半监督学习方法和虚拟对抗训练等方法来正则化模型。通过在四个文本分类数据集上评估正则化效果（AG 新闻、DBpedia、Yahoo! Answers、Yelp 极性），只使用原始标记训练文档的 0.1% 到 0.5% 进行实验。简单模型在完全监督学习中表现相对较好，但在对抗训练和半监督学习的帮助下，无论是简单模型还是复杂模型都能够得到正则化，复杂模型表现更好。虽然简单模型对过拟合有较强的鲁棒性，但一个具有良好先验信念的复杂模型也能够对过拟合有较强的鲁棒性。

Feb, 2024

该论文针对自然语言处理（NLP）中的对抗训练的方法应用于词嵌入空间进行改进，使其具有可解释性，从而实现在任务执行时的性能提升。

May, 2018

本论文提出了一种基于概念的弱监督对抗训练方法，通过将单词映射到连续向量的分布表示法，实现不需要大量平行数据（如字典或句子对齐语料库）的语言间互译，并针对语言间距离大的情况，在大多数语言上改善了以前无监督的对抗方法的性能。

Apr, 2019

通过使用分类器的梯度，我们创建了一个衡量文本分类器鲁棒性的框架。

May, 2024

使用对抗训练机制可以更好地规范神经语言模型中的过度拟合问题，增加嵌入向量的多样性并提高在机器翻译领域的性能。

Jun, 2019

本研究提出了一种半监督敌对训练过程，通过最小化标签保留输入扰动的最大损失来改进跨语言文本分类，进而为目标语言样本诱导标签以进一步适应模型。与多个强基线比较，我们观察到了在各种语言的文档和意图分类上的显著增益。

Jul, 2020

通过介绍 Semantics-Preserving-Encoder (SPE), 提出了一种解决预先训练的文本编码器中存在的问题以及提高对抗性攻击例子质量的简单，全监督的句子嵌入技术，结果表明 SPE 显著提高了对抗性攻击的质量。

Nov, 2022