EMNLPAug, 2019

通用对抗触发器针对自然语言处理的攻击与分析

PDF
TL;DR本篇论文旨在寻找普适的对抗触发器 (universal adversarial triggers)，使用梯度导向的搜索过程寻找跨任务短小的触发序列，并展示了触发序列的强大攻击性能。触发序列即使在输入无关的情况下，对模型的全局行为也提供了一种分析方法。
发现论文，激发创造
  • 使用自然触发器的通用文本对抗攻击

    利用对抗正则化自编码器 (ARAE) 和梯度搜索等技术，对现代文本分类器进行了对抗攻击，生成的词组比先前模型更接近自然的英语短语，并能在被加入到输入文本后成功混淆分类器，并且难以被自动检测或人为辨识。该研究的目的是展示对抗攻击可以比先前认为的更难被检测到，并推动防御技术的发展。

    May, 2020

  • 通用对抗触发器并非通用

    针对通过优化模型找到的诱发不安全响应的标记序列，即对抗触发器，我们研究了它们的转移能力、鲁棒性以及优化方法对模型的影响，发现对齐的偏好优化模型（APO）极难被破解，然而对齐的微调模型（AFT）对对抗触发器非常敏感，并且大部分针对 AFT 模型优化的触发器还可以泛化到来自五个不同领域的新的不安全指令，突显了它们的脆弱性。因此，我们的工作强调了对对齐语言模型进行更全面安全评估的必要性。

    Apr, 2024

  • 生成具有标签内聚力和良好形式的对抗性主张

    本文主要研究如何生成对于事实核查系统具有对抗性的攻击，使其保持着地面事实的意义和语义的有效性，为此采用了 HotFlip 攻击算法与条件语言模型相结合的方法，生成出了一批具有方向性和语义有效性的攻击。

    Sep, 2020

  • 探究基于提示学习范式的普遍性漏洞

    本文研究了 Prompt-based learning 模式的普适漏洞，发现加入特定的触发器可以完全控制和降低其性能，并提出了缓解攻击方法的潜在解决方案。

    Apr, 2022

  • 基于查询的对抗性提示生成

    通过使用具有 API 访问的远程语言模型构建具有更高概率发出有害字符串的对抗性示例，我们改进了之前的工作，并验证了我们的攻击在 GPT-3.5 和 OpenAI 的安全分类器上的有效性。

    Feb, 2024

  • NLP 中输入唯一触发器的后门攻击

    本文提出了一种输入唯一的后门攻击方法 (IDBA)，可以使能够通过语言模型 (GPT2) 生成上下文相关的后门触发器，解决了现有后门攻击方法的缺陷，不仅可以生成流畅、语法正确且多样化的后门输入，同时也达到了高攻击成功率，且难以被现有防御方法识别。

    Mar, 2023

  • 为什么通用对抗攻击可以对大型语言模型起作用？几何可能是答案

    通过对包含 117M 个参数的 GPT-2 模型的攻击，我们发现这些通用对抗触发器可能仅仅是嵌入向量，它们近似于对抗训练区域中的语义信息，从而为大型语言模型的通用对抗攻击提供了一个新的几何学视角。

    Sep, 2023

  • LinkPrompt：基于提示的语言模型的自然且通用的对抗攻击

    LinkPrompt 是一种通过基于梯度的波束搜索算法生成的自然的通用对抗触发器（UATs），能够有效地攻击目标预训练语言模型（PLMs）和基于提示的微调模型（PFMs）并保持触发器标记中的自然性。

    Mar, 2024

  • 针对不公平 ToS 条款检测的攻击：一个使用通用对抗性触发器的案例研究

    本文研究证明基于 Transformer 的服务条款分析系统容易受到对抗攻击，微小的文本扰动可以显著降低检测性能。此外，人类评估研究表明触发器的自然性对欺骗读者至关重要。

    Nov, 2022

  • 识别生成单词级对抗样本的人类策略

    本研究分析了人类如何生成针对细调 Transformer 模型的自然性和语法正确性保持的词级对抗性示例，通过探索人类工作者在生成过程中的行为模式，我们识别出人类更喜欢选择哪些单词进行对抗替换以及何时何地进行替换。研究结果可用于启发利用人类策略制定更强大的自然语言处理模型。

    Oct, 2022