ACLApr, 2021

BBAEG：用基于 BERT 的方法生成医学文本分类对抗样本

PDF
TL;DR本文提出了一种基于生物医学领域同义替换和 BERTMLM 预测的黑盒攻击算法 BBAEG，旨在提高生物医学文本分类的抗干扰性和预测准确性。通过对两个数据集的自动和人工评估，我们证明 BBAEG 相对于以往的工作具有更强的攻击能力和更好的语言流畅性和语义连贯性。
healthcare predictive analyticsmedical decision-makingdeep learningbiomedical bert-based adversarial example generationtext classification
发现论文，激发创造
  • 基于 BERT 的文本分类对抗样本

    本研究提出了一种基于 BERT 掩码语言模型的背后攻击方法（BAE），用于生成自然、语义和语法准确的对抗性示例，比目前基于规则的同义词替换策略生成的对抗性示例更具攻击性。

    Apr, 2020

  • 针对生物医学自然语言处理任务的对抗性样本

    本文介绍了在医疗领域中使用模型的预训练词嵌入的成功，讨论了 BERT 语言模型在核心领域中的效果，并提出了三种不同的对抗策略并评估模型性能，结果发现模型效果被显著降低，通过使用对抗性样本可以显著提高模型性能和鲁棒性的实验，并希望该实验能够激励更多对具备更强鲁棒性的模型的投入和评估。

    Apr, 2020

  • 面向神经机器翻译的短语级对抗样本生成

    本研究提出了一种基于短语级别替代策略的对抗样本生成框架（PAEG）以提高神经机器翻译从业者的鲁棒性和性能表现。实验证明，相较于单纯的字级替代方法，我们的方法可以显著提高翻译性能和抗噪性。

    Jan, 2022

  • BODEGA: 识别可信度中对抗样本生成的基准评估

    本文介绍了一种基于文本分类的检测系统『BODEGA』，用于检测虚假新闻、社交媒体机器人和宣传等误导信息。另外，作者们系统地测试了主流文本分类器的鲁棒性，并发现在某些情况下，即使输入文本略作修改，也会误导分类器的判断。

    Mar, 2023

  • 基于阿拉伯语同义词 BERT 的文本分类对抗样本

    通过引入第一个阿拉伯语的词级研究，我们使用基于掩蔽语言建模任务的同义词替换攻击，评估了最先进的文本分类模型对于阿拉伯语中的对抗攻击的鲁棒性，并研究了这些对抗样本的语法和语义相似性、传递性攻击的有效性以及关于 BERT 模型的防御机制的效果。我们发现，相较于其他我们训练的深度神经网络模型（如 WordCNN 和 WordLSTM），经过微调的 BERT 模型对我们的同义词替换攻击更容易受到影响。最后，我们发现经过对抗训练作为初始防御机制后，经过微调的 BERT 模型成功地恢复了至少 2% 的准确率。

    Feb, 2024

  • 使用深度强化模型为文本分类器生成黑盒对抗样本

    提出了一种基于强化学习的方法，在黑盒设置中生成对抗性示例，能够成功地欺骗针对 IMDB 情感分类任务和 AG 新闻语料库新闻分类任务的模型，并且生成的对抗示例保留了原始文本的语义。

    Sep, 2019

  • BERT 强健性的案例！反驳基于同义词的文本分类对抗样本

    本文调查了针对 BERT 的四种基于词汇替换的攻击方法，结合人类评估和概率分析，发现 96% 至 99% 的攻击并不能维护语义，其成功性主要基于将质量较差的数据输入模型中。作者进一步提出了有效的数据增强方案，以防止许多对抗性攻击。最终，通过对词汇更换的约束条件设定更合理的阈值，作者得出结论：BERT 比攻击研究所说的要更加健壮。

    Sep, 2021

  • 人类和机器生成的文本分类词级对抗样本对比

    本研究探讨了在维持语义和语法约束的前提下进行对抗样本攻击的可行性，通过 crowdsourcing 实验发现人类可以通过语义保持的词汇替换生成大量的对抗样本，这些人类生成的对抗样本虽然比最好的算法更加高效，但在自然性、情感及语法方面的表现并不高于最佳算法。

    Sep, 2021

  • 通过对抗训练学习全局优化的语言结构

    提出了一种针对文本的对抗训练策略，通过扰动自回归模型生成的文本来生成负样本，并证明该策略可以显著提高离散能量基模型的生成质量。

    Nov, 2023

  • 通过 Beam Search 和混合语义空间生成高质量的文本对抗样本（High-quality Textual Adversarial Examples）

    本研究提出了 BeamAttack，这是一种文本攻击算法，利用混合语义空间和改进的 Beam 搜索来制作高质量的对抗攻击示例，可在对模型进行攻击时提高攻击成功率并节省大量查询和时间。

    Mar, 2023