使用随机扰动减缓情感分析模型的对抗攻击
通过对敌对学习及攻击的深入探究,我们发现在敌对性训练的模型中,用微小的随机噪声扰动部分攻击样本能够破坏其误导性预测,为此我们提出了一种有效的防御方法,是通过制造更加有效的防御扰动方法,利用敌对训练降低了地面真实的局部 Lipschitzness,同时攻击所有类别,将误导的预测转换为正确的预测,这种方法在经验实验证明有效。
Jun, 2021
本文提出了一种基于鲁棒性感知扰动的在线防御机制,可以有效对抗自然语言处理模型的后门攻击,并在情感分析和毒性检测任务中取得更好的防御效果和更低的计算成本。
Oct, 2021
提出了一种通过多种敌对扰动方法修复文本,使神经网络能够正确分类的方法,经实验证明,该方法可对约 80%的文本进行修复,并且取决于使用的扰动方法,平均修复一条文本的时间仅需一秒。
Dec, 2021
通过黑盒基于人口的优化算法生成有迷惑性的语义和语法类似的对抗样本,不仅能提高情感分析和文本蕴涵模型的错误率,还能在 20 名人类注释者中得到 92.3% 的标签正确分类。进一步讨论了对抗训练作为一种防御的尝试,但未能产生改进,说明了这种对抗样本的强大和多样性。我们希望此研究能够鼓励研究人员追求提高自然语言域下深度神经网络的鲁棒性。
Apr, 2018
通过随机化输入的潜在表示,我们提出了一个名为 AdvFooler 的轻量级、适应各种攻击方法的防御机制,主要目标是困惑生成对抗样本的过程,从而达到误导对手的效果,并在两个基准数据集上证明近乎最先进的防御能力。
Oct, 2023
本文提出了一种使用 deobfuscation 和 CW2V 嵌入的强健分类管道,用于检测 Facebook 帖子是否请求参与(例如点赞)。在针对有意和无意的对抗文本扰动方面,CW2V 嵌入的强健性优于基于字符 ngram 的嵌入,其分类结果在扰动下的 AUC 从 0.70 降至 0.67,而字符 ngram 嵌入的分类结果从 0.76 降至 0.64。
Feb, 2022
针对预训练语言模型容易受到对抗攻击的问题,提出了一种基于异常检测和随机化的通用防御框架。该框架针对性不强,能够有效地弥补其他防御方法的不足,同时本研究也揭示了文本对抗攻击的本质,并提出了应该加强对谨慎攻击方法的研究。
Jul, 2022
本文研究基于深度学习的文本分类模型(CNN、LSTM 和 BERT)在面对有意义但与最终性能无关的输入扰动(如标点符号和停用词)时的表现,发现包括 BERT 在内的这类模型都很敏感,特别是对于输入扰动的删除尤其受影响。
Jan, 2022
探究数据增广方法在 NLP 中的效果和可泛化性,通过三个二进制文本匹配分类任务的大规模实验发现,随机文本扰动作为数据增广能给神经分类模型的测试集性能带来正面和负面的影响,具体取决于模型是否足够训练原始训练例子,但这与是否同时或分别应用五个随机文本编辑操作无关,研究强烈暗示随机文本扰动的效果任务特定,而不是普遍积极的。
Sep, 2022
该研究提出了一种新的方法,增加基于变压器的 NLP 模型的抗拼写错误能力,而无需重新训练原始 NLP 模型,仅在没有拼写错误输入的情况下略有语言理解能力下降,并且还提出了一个新的高效近似的对抗拼写错误生成方法,显著降低了评估模型对对抗攻击的鲁棒性所需的成本。
Aug, 2022