序列到序列模型下的后门学习

May, 2023

Backdoor Learning on Sequence to Sequence Models

Lichang Chen, Minhao Cheng, Heng Huang

TL;DR本文针对输出空间无限离散的 seq2seq 模型做了后门攻击的研究，发现只需注入 0.2% 的样本，即可成功使模型生成指定关键词和完整句子，使用 Byte Pair 编码技术可以创建多个新的后门，通过机器翻译和文本摘要的实验验证了该方法攻击成功率超过 90%。

Abstract

backdoor learning has become an emerging research area towards building a trustworthy machine learning system. While a lot of works have studied the hidden danger of backdoor attacks in image or text classification, there is a limited understanding of the model's robustness on backdoor

backdoor learning sequence-to-sequence models byte pair encoding backdoor detection machine translation

发现论文，激发创造

对一类序列异常检测模型的后门攻击

探索深度序列异常检测模型的后门攻击策略，通过生成触发器和注入后门触发器，有效地破坏现有异常检测模型。

Feb, 2024

针对基于 LSTM 的文本分类系统的后门攻击

本研究在文本分类基于 LSTM 中，通过数据毒化实现后门攻击，注入触发句会导致误分类，被注入的后门攻击难以察觉，对性能影响小。通过在 IMDB 电影评论数据集上进行情感分析实验，证实本攻击的成功率可达 95%。

May, 2019

通过后门关键词识别减轻基于 LSTM 的文本分类系统中的后门攻击

分析内部 LSTM 神经元的变化，提出了一种防御方法，名为 Backdoor Keyword Identification，用于防御针对基于 LSTM 的文本分类的后门攻击，该方法可以在没有验证和可信数据集的情况下识别并排除用于向模型中插入后门的被破坏样本，实验结果表明无论触发句子如何，该方法在四个不同的文本分类数据集上都取得了良好的性能。

Jul, 2020

从统计学角度剖析毒化后门攻击

对于机器学习中的黑门攻击，本文通过建立性能的上下界限来评估任何包含恒定触发器的黑门攻击的有效性，回答了一系列基本但以前未被充分探讨的问题，包括黑门攻击成功的决定因素、最有效的黑门攻击方向以及人类难以察觉的触发器何时会成功。该理论适用于判别模型和生成模型，并通过使用基准数据集和最先进的黑门攻击场景进行实验来证明该理论。

Oct, 2023

通过污染攻击在事件序列数据中隐藏后门

金融行业使用深度学习模型做出重要决策，但这导致了新的危险，因为深度黑盒模型容易受到对抗性攻击。为了在复杂的离散序列空间上植入后门，我们提供了一种方法来引入隐藏的后门，破坏模型的功能性。我们的实验研究揭示了这些影响如何在不同数据集、架构和模型组件中变化，同时探索了其他方法和基线，发现它们效率较低。研究结果不仅揭示了当代模型的漏洞，还有助于构建更健壮的系统。

Aug, 2023

针对预训练模型的多目标后门攻击

本文提出针对预训练代码模型的任务不可知后门攻击，包括受害模型隐藏蓄意损坏的策略和触发器，可以在多种代码生成和理解任务中成功实现目标攻击。

Jun, 2023

两个简单技巧使得文本后门攻击更加有害

本文针对深度学习领域的后门攻击进行研究，通过添加训练任务以区分被污染数据和干净数据，以及使用原有的干净数据进行攻击，提高攻击效果，并在三种场景下进行了实验验证。

Oct, 2021

后门学习：一项调查

该研究对针对深度神经网络的后门攻击进行了全面的调查，总结和分类现有的后门攻击和防御方法，并提供了分析基于攻击方法的中毒后门攻击的统一框架，并分析了后门攻击与相关领域（如敌对攻击和数据污染）的关系，同时总结了广泛采用的基准数据集。

Jul, 2020

深度文本分类器中后门的检测

本研究介绍一种新的深度学习技术，可用于抵御针对文本分类模型的后门攻击，能够无需访问攻击类型和训练资源的情况下自我防御并具有高准确性。

Oct, 2022

预训练模型的后门可以转移到所有模型

本文提出了一种新的方法，将包含触发器的输入直接映射到预训练 NLP 模型的预定义输出表示，而不是目标标签，从而可以将后门引入广泛的下游任务中，而无需任何先前的知识，通过各种触发器类型的实验，论证了该方法对于不同的分类和命名实体识别等微调任务以及不同的模型（如 BERT、XLNet、BART）是普适的，并且不可避免地引入了严重威胁。

Oct, 2021