提高 NLP 模型对抗训练的技术

EMNLPSep, 2021

Towards Improving Adversarial Training of NLP Models

Jin Yong Yoo, Yanjun Qi

TL;DR本研究介绍了一种称为 A2T 的简单和改进的馅饼对抗训练过程，用于 NLP 模型的训练，可以使用更便宜的对手训练出具有鲁棒性的 NLP 模型，提高 NLP 模型的标准准确性、跨领域泛化性和可解释性。

Abstract

adversarial training, a method for learning robust deep neural networks, constructs adversarial examples during training. However, recent methods for generating NLP adversarial examples involve combinatorial search and expensive sentence encoders for constraining the generated instance

adversarial training nlp models word substitution attack robustness cross-domain generalization

发现论文，激发创造

通过对抗训练来改善神经语言模型

使用对抗训练机制可以更好地规范神经语言模型中的过度拟合问题，增加嵌入向量的多样性并提高在机器翻译领域的性能。

Jun, 2019

一种简单且高效的对抗性词汇替换攻击方法

本研究提出了一种简单而高效的方法，将对文本分类模型的人为攻击所需的平均查询次数减少了 3-30 倍，并且能够保持攻击效果。

May, 2022

A2: 高效自动化攻击者用于提升对抗训练

本文提出了一个名为 A2 的高效自动攻击者，它能够在训练过程中实时生成最优扰动，并证实其强制扰动能够有效提高不同数据集上各种对抗训练方法的鲁棒性。

Oct, 2022

面向自然语言理解的定向对抗训练

本研究提出了一种简单而有效的有目标对抗训练算法（TAT），以改善自然语言理解的对抗训练，其关键思想是内省当前错误，并优先处理模型错误最多的对抗训练步骤。实验证明，TAT 可以显著提高 GLUE 的准确性，并在 XNLI 上实现了新的零 - shot 最先进的结果。

Apr, 2021

A3T：对抗性增强的对抗性训练

本文介绍了一种通过强制表示不变性来提高深度神经网络对抗攻击鲁棒性的方法，并比较其与其他标准对抗训练方法的可行性。

Jan, 2018

TAVAT: 基于 Token 的虚拟对抗训练用于语言理解

本文提出了一种基于标记的虚拟对抗训练方法，该方法在 NLP 任务中引入了生成嵌入空间中扰动的虚拟对抗训练，并使用标记级别的规范化球适当限制这些扰动，实验表明，该方法显著提高了 BERT 和 ALBERT 等预训练模型在多个任务中的性能。

Apr, 2020

利用目标信息的文本对抗攻击的改进和提升

本文研究了利用目标模型输出和数据对攻击率和查询率的影响，并表明两者都可以提高，同时附加查询的开销有限。

Apr, 2021

学习攻击：朝着在现实场景中的文本对抗攻击

该研究旨在阐述在自然语言处理领域，利用强化学习的攻击模型可以从历史攻击中学习，更高效地发起攻击，并对多项任务进行对比，实验证明其在攻击性和效率方面均优于其他基线方法。

Sep, 2020

生成具有有效性和自然性的大型语言模型对抗样本

基于大型语言模型 (LLMs) 的语言理解和生成能力，我们提出了 LLM-Attack，旨在使用 LLMs 生成既有效又自然的对抗性示例。实验结果表明 LLM-Attack 比基线模型在人类和 GPT-4 评估中表现优异，能够生成通常有效、自然，并保留语义意义、语法正确性和人类不可察觉性的对抗性示例。

Nov, 2023

针对神经机器翻译的定向对抗攻击

本文介绍了一种新的对神经机器翻译（NMT）模型的有针对性对抗攻击方法，目的是插入一个预定义的关键词到对抗性翻译中，同时保持源域中原始句子和扰动句子之间的相似性。文章提出了包括对抗损失项和相似性损失项的优化问题，并使用嵌入空间中的梯度投影来获得对抗性句子。实验结果表明，相比于 Seq2Sick 方法，本攻击方法在成功率和翻译质量降低方面表现更好，攻击成功率超过 75％，同时原始句子和扰动后的句子之间的相似性得以保持。

Mar, 2023