ACLMay, 2020

Robust Encodings: 一种应对对抗性错别字的框架

PDF
TL;DR本文提出一种名为 RobEn 的框架，实现 NLP 系统对抗攻击的鲁棒性，相较于之前的方法具有更好的稳定性和保真度，在六项任务中，RobEn 与 BERT 的结合在防御一系列错别字攻击中可达到 71.3% 的平均准确度，而之前的方法只能达到 35.3%。
nlp systemsadversarial perturbationsrobenguaranteed robustnesstypo-corrector
发现论文，激发创造
  • SenTest: 句子编码器鲁棒性评估

    通过对比学习方法评估句子编码器的鲁棒性，使用字符级、词级和句级攻击检验了模型的稳健性，结果显示模型在扰动数据集上的准确率可下降高达 15％，且当前的分类策略未能充分利用语义和句法结构信息。

    Nov, 2023

  • 构建强韧的神经机器翻译系统

    本文提出采用对抗性稳定性训练来提高神经机器翻译 (NMT) 模型的鲁棒性，通过使编码器和解码器在输入和其扰动版本的情况下行为相似，进而提高模型的容错性。在汉英、英德和英法翻译任务中的实验结果表明，该方法不仅可以显著提高强 NMT 系统的翻译品质，而且可以增强 NMT 模型的鲁棒性。

    May, 2018

  • 关于语言编码器对语法错误的鲁棒性

    本文旨在研究预训练语言编码器（ELMo，BERT 和 RoBERTa）在面对自然语法错误时的表现，通过采集真实语法错误和进行对抗性攻击来模拟这些错误对干净文本数据的影响。结果证实，所有测试模型的性能都受到了影响，但影响程度有所不同。此外，我们设计了一个语言接受度任务来揭示它们在识别不符合语法的句子和错误位置方面的能力。本文的结果有助于理解语言编码器对语法错误的鲁棒性和行为。

    May, 2020

  • RobustSentEmbed: 使用对抗自监督对比学习获得鲁棒的句子嵌入

    本文介绍了 RobustSentEmbed，这是一个自监督的句子嵌入框架，旨在改善自然语言处理任务中的泛化能力和对抗性环境中的鲁棒性。通过生成高风险对抗扰动并利用新颖的目标函数，RobustSentEmbed 能够熟练学习高质量且鲁棒的句子嵌入。实验证实了 RobustSentEmbed 优于最先进的表示方法的优越性，尤其是对于各种对抗性攻击，BERTAttack 的成功率从 75.51% 降低至 38.81%。该框架还在语义文本相似性任务和各种迁移任务中分别实现了 1.59% 和 0.23% 的改进。

    Mar, 2024

  • BERT 强健性的案例！反驳基于同义词的文本分类对抗样本

    本文调查了针对 BERT 的四种基于词汇替换的攻击方法，结合人类评估和概率分析，发现 96% 至 99% 的攻击并不能维护语义，其成功性主要基于将质量较差的数据输入模型中。作者进一步提出了有效的数据增强方案，以防止许多对抗性攻击。最终，通过对词汇更换的约束条件设定更合理的阈值，作者得出结论：BERT 比攻击研究所说的要更加健壮。

    Sep, 2021

  • 伪装即一切所需：评估和增强语言模型抵御伪装对抗攻击的鲁棒性

    采用拟态数据集和动态修改数据的对抗训练方法可以提高 Transformer 模型在对抗性攻击下的鲁棒性，使性能下降最多为 5%。然而，模型的性能与鲁棒性之间存在一种权衡关系，进一步的研究仍然需要进行。

    Feb, 2024

  • 使用强健的单词识别技术对抗对抗性拼写错误

    为应对对抗性拼写错误，本文提出在下游分类器前放置一个单词识别模型。该方法使用基于 RNN 的半字符架构的单词识别模型，并引入了几种新的回退策略来处理罕见和未见单词。与半字符模型相比，该方法实现了 32% 的相对误差降低（和 3.3% 的绝对误差降低）。本文提出的方法不仅可以提升鲁棒性，还可以超越敌对训练和现成的拼写检查器。

    May, 2019

  • MockingBERT: 为 NLP 模型添加后期弹性的方法

    该研究提出了一种新的方法，增加基于变压器的 NLP 模型的抗拼写错误能力，而无需重新训练原始 NLP 模型，仅在没有拼写错误输入的情况下略有语言理解能力下降，并且还提出了一个新的高效近似的对抗拼写错误生成方法，显著降低了评估模型对对抗攻击的鲁棒性所需的成本。

    Aug, 2022

  • 基于字符的词嵌入在标注和机器翻译中对抗单词混淆和随机噪声的鲁棒性如何？

    本文研究了 NLP 在含有误差的单词形式下的稳健性，考虑了不同类型和组合的误差分布、不同模型和基本单元对 NLP 任务（如形态标注和机器翻译）的影响，以及神经网络在此类应用中的鲁棒性。

    Apr, 2017

  • SAFER: 一种无需结构的方法，实现对抗性词汇替换的认证鲁棒性

    针对自然语言处理领域中的同义词替换攻击问题，提出了一种基于随机平滑技术的认证鲁棒性方法，能证明某些输入不能通过任何同义词替换被修改，可以应用于各种预训练模型，在 IMDB 和亚马逊文本分类任务上表现优异，创造了 BERT 系统鲁棒性认证的最佳效果。

    May, 2020