本文介绍了在文本领域将反对训练和虚拟反对训练应用于使用递归神经网络中的单词嵌入，并在多个基准半监督和纯监督任务上实现了最先进结果。
May, 2016
研究BERT语言模型在文本分类任务上的微调方法，提供一般的解决方案，并在8个广泛研究的文本分类数据集上取得了最新的最好结果。
May, 2019
介绍了一种新的正则化技术，使用对抗性目标来进行领域敌对微调，可以有效提高预训练语言模型在各种自然语言理解任务中的表现。
Sep, 2020
通过构建 SCL 算法，并将其应用到先前基于 RoBERTa-Large 模型的建议中，提出了一种新的有监督对比学习优化目标，用于自然语言理解任务的微调，在少样本学习设置下，相比于传统 CE 损失函数，该方法在多个数据集上均有显著的改进，可以更好地处理数据噪音并更好地推广至相关任务。
Nov, 2020
本文介绍了一种提高BERT自然语言模型对基于单词替代的对抗性攻击的鲁棒性的方法，该方法利用对比学习的对抗扰动来创建生成困难正例的单词级对抗攻击，实验结果表明我们的方法提高了BERT对四种不同基于单词替换的对抗性攻击的鲁棒性，结合对抗性训练可以获得比单一对抗性训练更高的鲁棒性。由于我们的方法仅使用未标记数据提高BERT的鲁棒性，因此可以使用大型文本数据集训练出抗击单词替换的对抗性攻击的强壮自然语言模型。
Jul, 2021
本文提出了两种新的对抗训练方法：一种是在表示空间中缩小原始样本和其对抗样本的距离，同时扩大其与不同标记样本的距离；另一种是将模型迫使在对抗性表示下重构原始样本，实验证明这两种方法在各种文本分类数据集上优于强基线。分析实验证明，我们的方法可以有效提高模型的抗打击能力，同时不显著影响输入句子的语义表示。
Sep, 2021
本文介绍了利用监督动量对比学习框架和KNN分类器结合 fine-tuning 的方法，以学习聚类表示来提高预训练模型的 Robustness 和 Stability，测试结果表明此方法可显著提高文本分类任务中的准确度和对抗性鲁棒性。
Oct, 2021
使用对抗微调的新型双阶段优化技术解决大型语言模型中意外有害内容生成的挑战，并通过分类准确性评估方法展示了优化过程中，判断模型在具有挑战性的数据集上的性能提升。
Aug, 2023
该研究通过优化fine-tuned adapters并使用混合数据训练神经网络，提出了一种在实践中更实用的对抗训练机制，从而在提高模型的泛化性和预测性能的同时避免了传统对抗训练方法中存在的性能下降和计算成本较高的问题。
Jan, 2024
利用提取的13个不同特征来预测经过精细调整的模型的对抗鲁棒性，并证明训练数据与模型鲁棒性之间存在强相关性。
Feb, 2024