COLINGAug, 2022

MockingBERT: 为 NLP 模型添加后期弹性的方法

PDF
TL;DR该研究提出了一种新的方法，增加基于变压器的 NLP 模型的抗拼写错误能力，而无需重新训练原始 NLP 模型，仅在没有拼写错误输入的情况下略有语言理解能力下降，并且还提出了一个新的高效近似的对抗拼写错误生成方法，显著降低了评估模型对对抗攻击的鲁棒性所需的成本。
nlp modelsmisspellingsresilienceadversarial attacksapproximate method
发现论文，激发创造
  • 使用强健的单词识别技术对抗对抗性拼写错误

    为应对对抗性拼写错误，本文提出在下游分类器前放置一个单词识别模型。该方法使用基于 RNN 的半字符架构的单词识别模型，并引入了几种新的回退策略来处理罕见和未见单词。与半字符模型相比，该方法实现了 32% 的相对误差降低（和 3.3% 的绝对误差降低）。本文提出的方法不仅可以提升鲁棒性，还可以超越敌对训练和现成的拼写检查器。

    May, 2019

  • Adv-BERT：在 BERT 上生成自然语言错拼的对抗样本

    这篇论文探讨了 NLP 中最先进的模型 BERT 在处理存在于真实文本中的打字错误等噪声数据时的鲁棒性，并在情感分析和问题回答基准测试中进行了实验。研究表明：各种单词的打字错误对于 BERT 的影响不同；打字错误是损坏 BERT 性能最严重的因素之一；人类和机器对于识别对抗攻击有不同的关注点。

    Feb, 2020

  • 使用随机扰动减缓情感分析模型的对抗攻击

    本文介绍了使用随机扰动来对抗深度学习模型的攻击的解决方案，包括随机拼写纠正、随机同义词替换和随机删除单词等防御方法。这些方法成功地将被攻击的模型的准确性恢复到攻击之前的水平。

    Feb, 2022

  • BERT 强健性的案例！反驳基于同义词的文本分类对抗样本

    本文调查了针对 BERT 的四种基于词汇替换的攻击方法，结合人类评估和概率分析，发现 96% 至 99% 的攻击并不能维护语义，其成功性主要基于将质量较差的数据输入模型中。作者进一步提出了有效的数据增强方案，以防止许多对抗性攻击。最终，通过对词汇更换的约束条件设定更合理的阈值，作者得出结论：BERT 比攻击研究所说的要更加健壮。

    Sep, 2021

  • 构建强韧的神经机器翻译系统

    本文提出采用对抗性稳定性训练来提高神经机器翻译 (NMT) 模型的鲁棒性，通过使编码器和解码器在输入和其扰动版本的情况下行为相似，进而提高模型的容错性。在汉英、英德和英法翻译任务中的实验结果表明，该方法不仅可以显著提高强 NMT 系统的翻译品质，而且可以增强 NMT 模型的鲁棒性。

    May, 2018

  • BERT-Defense: 基于 BERT 的概率模型用于抵御认知启发式正交攻击

    本文研究在深度学习系统中敌对攻击的问题，使用字符级攻击并检验了几种防御方法和模型，表明一种无监督的迭代方法与 BERT 的掩码语言模型相结合可以达到与人类众包工人相当的效果。

    Jun, 2021

  • 攻击神经文本检测器

    本文介绍了两种黑匣子攻击方法，一种是将字符随机替换为了形似字，另一种是故意拼错单词，受攻击的神经文本检测器从 97.44％降至 0.26％和 22.68％，攻击也可转移至其他文本检测器。

    Feb, 2020

  • 通过随机 [MASK] 实现对文本对抗攻击的认证鲁棒性

    本文提出了一种随机遮挡的可证明鲁棒防御方法，对于 AGNEWS 数据集上五个词，SST2 数据集上两个词的任意扰动分类可以获得超过 50% 的证明鲁棒性，并在多个数据集上明显优于最近提出的防御方法。

    May, 2021

  • 伪装即一切所需：评估和增强语言模型抵御伪装对抗攻击的鲁棒性

    采用拟态数据集和动态修改数据的对抗训练方法可以提高 Transformer 模型在对抗性攻击下的鲁棒性，使性能下降最多为 5%。然而，模型的性能与鲁棒性之间存在一种权衡关系，进一步的研究仍然需要进行。

    Feb, 2024

  • 对抗性词语替换的可验证鲁棒性

    本文利用 Interval Bound Propagation（IBP）训练了第一个能够抵御包括词语替换在内的 label-preserving 转换攻击的 NLP 模型，该模型在情感分析与自然语言推理任务上取得了 75% 的对抗准确率，远高于传统训练模型和数据增广训练模型的 8% 和 35%。

    Sep, 2019