Feb, 2024

对密集通道检索器的后门攻击以传播虚假信息

PDF
TL;DR通过语法错误在密集文段检索中引发危险的后门攻击，通过我们的方法，当用户查询无误时，我们的模型始终可靠地检索准确的信息，同时有效地过滤掉误导性信息。然而，当查询存在语法错误时，我们的系统显著提高了获取目标内容的成功率。
dense retrieversretrieval-augmented language modelssecuritybackdoor attackgrammar errors
发现论文，激发创造
  • 通过注入对抗性段落污染检索语料库

    在这份研究中，我们提出了一种新的攻击方法，通过扰乱离散标记以最大限度地与提供的一组训练查询相似，从而为密集检索系统生成少量的对抗性段落。当这些对抗性段落插入到大规模的检索语料库中时，我们证明这种攻击在欺骗这些系统在攻击者未见过的查询中进行检索方面非常有效。更令人惊讶的是，这些对抗性段落可以直接推广到领域外的查询和语料库，并且具有很高的攻击成功率。我们还对一系列最先进的密集检索器进行了基准测试和比较，无论是无监督的还是有监督的，虽然不同的系统表现出不同程度的易攻击性，但我们展示了它们都可以成功攻击，而只需插入最多 500 个段落，与数百万个段落的检索语料库相比，这只是一个小部分。

    Oct, 2023

  • BadNL: 含语义保持改进的自然语言处理模型后门攻击

    该文章就神经网络 (DNNs) 的后门攻击进行了系统研究，提出了一个新的 NLP 后门攻击框架，BadNL，其中包括了三种构造触发器的方法，即 BadChar、BadWord 和 BadSentence，攻击成功率几乎完美，并且几乎不影响原始模型的效用。

    Jun, 2020

  • 人类中心语言模型中的隐藏后门

    本文提出通过嵌入本质隐形且难以检测的触发器进行的 NLP 背门攻击，该攻击能超过多项 NLP 任务，例如有害评论检测，机器翻译和问答系统，能在维持正常使用的正常用户的同时，在不经意间实施高成功率的攻击。

    May, 2021

  • OrderBkd: 文字背门攻击的重新定位

    借助特定词语在句子中的重新定位作为触发器，设计和应用基于词性标注的规则来选择这些词汇，在保持高攻击成功率的同时，优于现有攻击的困惑度和与清洁样本的语义相似性。

    Feb, 2024

  • 深度文本分类器中后门的检测

    本研究介绍一种新的深度学习技术，可用于抵御针对文本分类模型的后门攻击，能够无需访问攻击类型和训练资源的情况下自我防御并具有高准确性。

    Oct, 2022

  • 基于 BERT 的段落检索和排名中处理打字错误的方法

    本文探讨了针对关键字错别字造成的关键字不匹配所产生的影响，针对这一问题，我们提出了简单而有效的错别字感知培训框架，实验证明该框架可以显著提高 DR 和 BERT Re-ranker 的有效性。

    Aug, 2021

  • 文本数据的自然后门攻击

    本研究提出了针对 NLP 模型的 “自然后门攻击”，对文本数据进行触发器生成，并研究了不同类型的触发器，最终在文本分类任务上实现了 100% 的后门攻击成功率和 0.83% 的牺牲。

    Jun, 2020

  • 针对基于 LSTM 的文本分类系统的后门攻击

    本研究在文本分类基于 LSTM 中，通过数据毒化实现后门攻击，注入触发句会导致误分类，被注入的后门攻击难以察觉，对性能影响小。通过在 IMDB 电影评论数据集上进行情感分析实验，证实本攻击的成功率可达 95%。

    May, 2019

  • 自然语言生成中的后门攻击防护

    本文研究神经网络模型中存在的后门攻击对自然语言生成系统的影响，并提出了相应的防御策略。通过测试生成目标给定源的后向概率，能够有效地防御各种类型的攻击，并处理对话生成等多任务中的一对多问题。该研究有望引起人们对深度自然语言生成系统中后门风险的关注，并启发更多有关攻击和防御的未来研究。

    Jun, 2021

  • 分辨和解答：通过鉴别器缓解检索增强模型中错误信息的影响

    本文研究了现有检索增强语言模型在面对包含错误信息的检索文档时的健壮性问题，并通过在微调和上下文几次学习中显式微调鉴别器或提示来提高检索增强语言模型对错误信息的容忍度，并揭示了有关在上下文学习过程中将微调模型决策与合并的最佳路径。

    May, 2023