EMNLPAug, 2021

评估神经语言模型对输入干扰的鲁棒性

PDF
TL;DR我们研究了在现实世界中输入文本可能有噪音或不同于 NLP 系统训练数据分布的情景，通过各种类型的字符级和单词级扰动方法来模拟这种情况，发现语言模型对输入扰动非常敏感，即使引入了很小的变化，其性能也会下降，需要进一步改进模型并对扰动输入进行评估以更加真实地了解 NLP 系统的鲁棒性。
neural language modelsnlpcharacter-level perturbationword-level perturbationmodel robustness
发现论文，激发创造
  • 解读神经自然语言处理模型对文本扰动的鲁棒性

    研究现代自然语言处理模型中对于不同的输入扰动如何表现更差，进而发现一个模型对于未知文本扰动的鲁棒性较低的原因是模型未很好地学习到如何识别这些扰动。

    Oct, 2021

  • 深度学习文本分类算法对实际输入扰动的敏感性研究

    本文研究基于深度学习的文本分类模型（CNN、LSTM 和 BERT）在面对有意义但与最终性能无关的输入扰动（如标点符号和停用词）时的表现，发现包括 BERT 在内的这类模型都很敏感，特别是对于输入扰动的删除尤其受影响。

    Jan, 2022

  • 多集合免疫接种：跨多个挑战集评估模型的稳健性

    探讨语言模型对输入扰动的敏感性以及通过不同训练策略来提高模型性能和鲁棒性的方法，通过在 Tabular-NLI 任务中的实例验证了该模型可对抗不同的扰动而不降低准确性。

    Nov, 2023

  • 神经机器翻译对输入扰动的鲁棒性评估

    本文提出了衡量 NMT 模型抗干扰性能的一些额外指标，并针对一类使用子单词规范化方法的模型进行了广泛评估，结果表明我们提出的指标揭示了使用子单词规范化方法时抗干扰性能提高的明显趋势。

    May, 2020

  • LLM 的输入扰动问题重新审视：噪声槽填充任务的统一鲁棒性评估框架

    使用大型语言模型来评估对话理解能力，在输入扰动场景下提高扰动稳健性表现。

    Oct, 2023

  • 基于字符的词嵌入在标注和机器翻译中对抗单词混淆和随机噪声的鲁棒性如何？

    本文研究了 NLP 在含有误差的单词形式下的稳健性，考虑了不同类型和组合的误差分布、不同模型和基本单元对 NLP 任务（如形态标注和机器翻译）的影响，以及神经网络在此类应用中的鲁棒性。

    Apr, 2017

  • 基于 Transformer 的自然语言处理模型微调鲁棒性研究

    本文对三种基于 Transformer 的预训练语言模型（BERT、GPT-2 和 T5）进行了鲁棒性测试，并比较了它们在多种输入扰动下的性能表现。同时，使用 CKA 和 STIR 两个度量衡量了预训练模型与微调模型在各层上的表示变化。其中，GPT-2 表现出更好的鲁棒性。尽管这些模型都具有广泛的鲁棒性，但丢失名词、动词或改变字符是最具影响力的。这项研究为流行的基于 Transformer 的模型的扰动特异性弱点提供了宝贵的见解。

    May, 2023

  • RUPBench：基于干扰的推理鲁棒性评估大型语言模型的基准测试

    通过对大型语言模型（LLMs）进行系统的鲁棒性评估，本研究提供了关于 LLMs 对多样化和噪声输入的处理能力方面的进一步改进的见解。

    Jun, 2024

  • 多语言 NER 对抗性输入的鲁棒性评估

    本文在多种语言中对命名实体识别 (Named Entity Recognition, NER) 进行了对抗性评估，并尝试使用对抗性数据集作为训练数据或微调数据以提高 NER 模型的性能。结果表明，这两种方法均可提高英语、德语和印地语的 NER 性能，但对于德语和印地语而言，重新训练的效果更好。

    May, 2023

  • 构建强韧的神经机器翻译系统

    本文提出采用对抗性稳定性训练来提高神经机器翻译 (NMT) 模型的鲁棒性，通过使编码器和解码器在输入和其扰动版本的情况下行为相似，进而提高模型的容错性。在汉英、英德和英法翻译任务中的实验结果表明，该方法不仅可以显著提高强 NMT 系统的翻译品质，而且可以增强 NMT 模型的鲁棒性。

    May, 2018