深度学习模型中的对抗攻击通过对输入进行微小扰动，从而导致输出发生重大变化。我们的研究重点是这种对抗攻击对序列到序列（seq2seq）模型的影响，特别是机器翻译模型。我们引入了基本的文本扰动启发式算法和更高级的策略，例如基于梯度的攻击，该攻击利用可微分逼近的非可微分翻译度量。通过我们的调查，我们提供了证据表明机器翻译模型对已知最佳对抗攻击显示出鲁棒性，因为输出中的扰动程度与输入中的扰动成正比。然而，在次优方法中，我们的攻击方法优于其他方法，提供了最佳的相对性能。另一个有力的候选方法是基于混合单个字符的攻击。

Sep, 2023

本文针对预训练 Seq2Seq 模型的鲁棒性问题，提出了一种新的针对 Seq2Seq 模型提高准确性和信息性的敌对增强框架 ——AdvSeq，通过隐式敌对样本和交换敌对样本来提高 Seq2Seq 模型的鲁棒性，实验结果表明 AdvSeq 显著提高了 Seq2Seq 生成的可信度和信息性。

Oct, 2022

本研究提出 DANCin SEQ2SEQ，一种基于强化学习的算法来生成文本领域黑盒分类器的对抗样本，旨在探究模型的假设与漏洞。实验表明该算法能够初步但有前途地生成有意义的对抗性文本样本。

Dec, 2017

本文通过实证方法，设计了离散优化算法，有效地找到了会导致训练良好的离散空间神经网络序列到序列模型生成攻击性文本输出的输入序列，以及针对真实世界用户的输入序列。 通过在通话响应生成模型上进行实验，发现部分触发语句可以让得出的结果是有攻击性的。

Sep, 2018

提出一种新的 seq2seq 模型对抗攻击的评估框架，并证明现有方法普遍无法保持语义的等价性。同时，发现在对模型进行对抗性训练时，使用保持意义的攻击可以提高模型的鲁棒性而不影响测试性能。

Mar, 2019

通过添加精心选择的扰动来制造对机器学习模型的对抗输入，以此来解决复杂安全问题、引导自主车辆或预测金融市场行为，本文提出了在序列数据中处理递归神经网络的对抗输入序列，表明了先前为前馈神经网络所用算法的类别也可以适用于递归神经网络，对实验结果表明对手可以欺骗机器学习模型从而误导其判断。

Apr, 2016

本文针对输出空间无限离散的 seq2seq 模型做了后门攻击的研究，发现只需注入 0.2% 的样本，即可成功使模型生成指定关键词和完整句子，使用 Byte Pair 编码技术可以创建多个新的后门，通过机器翻译和文本摘要的实验验证了该方法攻击成功率超过 90%。

May, 2023

本文介绍最近相结合的 seq2seq，深度神经网络和加强学习模型，考虑如何在决策制定的 RL 方法中利用序列到序列模型的长期记忆能力来解决复杂的问题，提出并探讨 RL 方法解决序列到序列模型领域常见的曝光偏差而且在训练与测试的指标上也不一致的两个问题，并提供了大多数 RL 模型的源代码以支持抽象文本摘要的复杂任务。

May, 2018

本研究提出一种新的 RNN 防御方法”sequence squeezing”，并实施了四种其他的防御方法，通过使用这些方法将黑客攻击的有效性从 99.9％降低到 15％。

Jan, 2019

该论文通过对比正负样本来缓解序列到序列模型中的条件文本生成问题，通过生成正负样本来引导模型更好地区分正确的输出和错误的输出，并提出了一种原则性的方法来生成正负样本，改进了机器翻译、文本摘要和问题生成等三个文本生成任务的泛化能力。

Dec, 2020