结构化预测模型的对抗攻击和防御

EMNLPOct, 2020

结构化预测模型的对抗攻击和防御

Adversarial Attack and Defense of Structured Prediction Models

Wenjuan Han, Liwen Zhang, Yong Jiang, Kewei Tu

TL;DR本文研究了自然语言处理结构化预测任务中的攻击与防御。我们提出了一种使用来自同一结构化预测任务的多个参考模型的反馈的序列到序列模型来攻击结构化预测模型的新颖统一框架，并通过对抗训练进一步加强了受害模型的预测，使其更加鲁棒和准确。在依赖分析和词性标注中验证了该框架。

Abstract

Building an effective adversarial attacker and elaborating on countermeasures for adversarial attacks for natural language processing (nlp) have attracted a lot of research in recent years. However, most of the e

adversarial attacks structured prediction tasks nlp sequence-to-sequence model adversarial training

发现论文，激发创造

自然语言处理中对抗性防御和鲁棒性的调查

综述了最近几年针对 NLP 中深度神经网络面对对抗干扰的鲁棒性不足和易受攻击的挑战，提出了一种新的分类方法，介绍了不同的对抗防御方法和其在训练中作为正则化机制的应用，并指出了深度神经网络的脆弱性和对其进行防御面临的挑战。

Mar, 2022

自然语言模型对抗性评估

本文提出了一种用于评估自然语言处理模型的新的抽象框架，通过明确研究人员之间的某些对抗角色，这有助于定义不同角色在评估中的贡献，并鼓励更早的错误分析，这个框架可以用多种方式实例化，并模拟一些熟悉的内部和外部评估以及一些新的评估。

Jul, 2012

图结构数据对抗攻击

本文研究了基于图结构的深度学习模型的鲁棒性问题，针对修改数据的组合结构而导致模型攻击的问题，提出了基于强化学习的攻击方法，同时引入遗传算法和梯度法等多种变形方法来进行攻击，并通过实验验证了针对图级别和节点级别分类任务的多种图神经网络模型都具有易受攻击性，同时这些攻击手段可以用来进一步诊断分类器。

Jun, 2018

会话蕴含任务的对抗攻击与防御

在这项研究中，我们将对抗性攻击结果视为模型的一个新（未见过的）领域，并将防御问题转化为如何提高模型在这个新领域的鲁棒性。我们关注会话蕴含任务，其中多轮自然语言对话是前提，通过对变换模型进行微调以预测给定对话的假设是真还是假。我们采用同义词交换作为攻击方法，并实施了一些微调策略，并提出了嵌入扰动损失作为提高模型鲁棒性的方法。最后，通过讨论自然语言处理中现实世界的对抗攻击，展示了我们工作的重要性。

May, 2024

语义隐身：多种方法对 NLP 的对抗文本攻击

在本文中，通过对 BERT 模型进行 BERT-on-BERT 攻击、PWWS 攻击和 Fraud Bargain's 攻击 (FBA) 这三种不同的攻击机制的探索，利用 IMDB、AG News 和 SST2 等数据集进行全面对比分析，发现 PWWS 攻击是最强大的对手，在多个评估场景中始终优于其他方法，从而强调其在生成文本分类的对抗示例方面的功效。通过全面的实验，评估了这些攻击的性能，并发现 PWWS 攻击优于其他方法，具有更低的运行时间、更高的准确性和更好的语义相似度得分，这是这篇论文的关键见解。

Apr, 2024

学习攻击：朝着在现实场景中的文本对抗攻击

该研究旨在阐述在自然语言处理领域，利用强化学习的攻击模型可以从历史攻击中学习，更高效地发起攻击，并对多项任务进行对比，实验证明其在攻击性和效率方面均优于其他基线方法。

Sep, 2020

面对对抗攻击的自动语音识别模型最近的改进

改进语音识别模型的鲁棒性需要从评估攻击转向系统化评估，通过在不同架构上评估代表性的对抗性攻击，我们发现不同攻击算法的相对强度在更改模型架构时会有相当大的差异，并且某些攻击的结果不能盲目信任，自我监督预训练等培训选择可显着影响鲁棒性。

Mar, 2022

上下文感知对命名实体识别的对抗攻击

我们提出了一种上下文感知对抗攻击方法，通过扰乱识别实体最具信息量的词语来生成自然而可信的对抗样本，实验证明我们的方法在误导模型做出错误预测方面比基准方法更有效。

Sep, 2023

机器翻译模型面对敌对攻击表现强劲

深度学习模型中的对抗攻击通过对输入进行微小扰动，从而导致输出发生重大变化。我们的研究重点是这种对抗攻击对序列到序列（seq2seq）模型的影响，特别是机器翻译模型。我们引入了基本的文本扰动启发式算法和更高级的策略，例如基于梯度的攻击，该攻击利用可微分逼近的非可微分翻译度量。通过我们的调查，我们提供了证据表明机器翻译模型对已知最佳对抗攻击显示出鲁棒性，因为输出中的扰动程度与输入中的扰动成正比。然而，在次优方法中，我们的攻击方法优于其他方法，提供了最佳的相对性能。另一个有力的候选方法是基于混合单个字符的攻击。

Sep, 2023

结构化预测的对抗性约束学习

本研究提出了一种基于约束学习的半监督学习方法，利用黑盒模拟器生成未标记数据进行训练并通过对抗训练实现生成模型的训练，提高模型在多种任务上的表现。

May, 2018