EMNLPOct, 2023

加强文本攻击检测器

PDF
TL;DR该研究提出了两个重要贡献：引入了 LAROUSSE 框架来检测文本对抗攻击，引入了 STAKEOUT 基准评估框架，其中包含了九种常用攻击方法、三个数据集和两个预训练模型。通过广泛的数值实验，我们证明 LAROUSSE 优于先前的方法，并且可以识别出有意义的检测率变化因素。
textual adversarial attackslaroussestakeoutdetectrobust evaluation framework
发现论文，激发创造
  • 大型语言模型中的对抗攻击与防御：旧与新的威胁

    过去十年来，人们对神经网络的鲁棒性进行了广泛的研究，但这个问题依然没有得到很好的解决。在这篇论文中，我们提出了改进新方法的鲁棒性评估和减少错误评估的第一组先决条件，同时指出了面向开源模型中恶意内容生成的嵌入空间攻击作为另一个可行的威胁模型。最后，我们通过一个最近提出的防御方法进行演示，展示了在没有针对大型语言模型的最佳实践的情况下，过高估计新方法的鲁棒性的容易性。

    Oct, 2023

  • 机器生成文本检测器在攻击下的鲁棒性压力测试

    通过对大规模语言模型、机器生成文本检测器、恶意攻击、鲁棒性和缺陷进行全面研究，我们揭示了现有检测器在不同攻击形式下的脆弱性，并提出了初步的解决方案，以提高其鲁棒性。

    Feb, 2024

  • 识别文本分类器的对抗攻击

    本文为对文本分类器对抗攻击的取证研究提供了第一步，通过分析对抗文本来确定其创建方法，提供了一个广泛的攻击检测和标记数据集，使用该数据集开发和基准测试攻击识别的多个分类器，并展示了三类特征对这些任务的有效性。

    Jan, 2022

  • SemAttack: 基于不同语义空间的自然文本攻击

    提出了一种有效的 SemAttack 框架，在不同语义空间下构建语义干扰函数生成更接近原始输入的自然对抗文本，可针对包括大规模 LM 和防御策略在内的对抗方法，适用于不同语言的对抗生成，而人评结果表明生成出的对抗文本自然，几乎不影响人类的表现。

    May, 2022

  • 文本中健壮的深度神经网络：一项调查

    本文对英语和中文文本领域的生成对抗性文本的对抗攻击和防御方法进行了全面的调查，并基于干扰单位对现有的对抗技术进行分类，从不同的自然语言处理任务的视角介绍了对抗技术，并从根源上探讨了领域中对抗攻击和防御的挑战和未来研究方向。

    Feb, 2019

  • 基于词重要性熵的对抗文本检测

    本文研究针对自然语言处理（NLP）模型的对抗攻击算法，发现攻击算法主要破坏文本中的单词重要性分布，基于此提出一种新的防御框架 TextDefense，利用目标模型的能力来检测对抗样本，不需要先验知识，并发现影响 TextDefense 性能的主要因素是目标模型的可推广性。

    Feb, 2023

  • 语义隐身：多种方法对 NLP 的对抗文本攻击

    在本文中，通过对 BERT 模型进行 BERT-on-BERT 攻击、PWWS 攻击和 Fraud Bargain's 攻击 (FBA) 这三种不同的攻击机制的探索，利用 IMDB、AG News 和 SST2 等数据集进行全面对比分析，发现 PWWS 攻击是最强大的对手，在多个评估场景中始终优于其他方法，从而强调其在生成文本分类的对抗示例方面的功效。通过全面的实验，评估了这些攻击的性能，并发现 PWWS 攻击优于其他方法，具有更低的运行时间、更高的准确性和更好的语义相似度得分，这是这篇论文的关键见解。

    Apr, 2024

  • TextAttack: 自然语言处理中对抗攻击、数据增广和对抗训练的框架

    本篇论文介绍了一种名为 TextAttack 的 Python 框架，用于在自然语言处理中进行敌对攻击、数据增强和对抗性训练，通过 TextAttack 的模块化设计，研究人员可以轻松构建来自新颖和现有组件的攻击。该框架实现了 16 种从文献中学来的敌对攻击，并支持各种模型和数据集，包括 BERT 和其他变压器，并提供使用对抗攻击的组件来提高模型的准确性和鲁棒性的数据增强和对抗训练模块。

    Apr, 2020

  • 结构化预测模型的对抗攻击和防御

    本文研究了自然语言处理结构化预测任务中的攻击与防御。我们提出了一种使用来自同一结构化预测任务的多个参考模型的反馈的序列到序列模型来攻击结构化预测模型的新颖统一框架，并通过对抗训练进一步加强了受害模型的预测，使其更加鲁棒和准确。在依赖分析和词性标注中验证了该框架。

    Oct, 2020

  • 评估大型语言模型的对抗性鲁棒性：一项实证研究

    对大型语言模型的鲁棒性进行了攻击和评估，并在五项不同的文本分类任务上建立了新的鲁棒性基准，研究结果对可靠部署语言模型并推动可信人工智能系统的发展具有重要意义。

    May, 2024