EMNLPApr, 2020

自然扰动使问答更具鲁棒性

PDF
TL;DR本文提出一种用人工产生的自然扰动而不是机器规则扰动，通过极小化现有数据集的扰动来使得机器学习模型对小的输入改变不敏感。在 BoolQ 数据集上的实验表明，使用自然扰动能够提高模型的鲁棒性和泛化能力，同时保持原有的高性能。
nlpperturbationquestion-answeringrobustnessgeneralization
发现论文，激发创造
  • 通过主动查询自适应修正扰动水平以提高模型鲁棒性

    研究了机器学习在各种应用中的鲁棒性，提出了新的主动学习框架，通过人类专家的互动查询来自适应地调整每个样本的扰动级别，从而显著提高了模型的鲁棒性。

    Mar, 2021

  • 评估神经语言模型对输入干扰的鲁棒性

    我们研究了在现实世界中输入文本可能有噪音或不同于 NLP 系统训练数据分布的情景，通过各种类型的字符级和单词级扰动方法来模拟这种情况，发现语言模型对输入扰动非常敏感，即使引入了很小的变化，其性能也会下降，需要进一步改进模型并对扰动输入进行评估以更加真实地了解 NLP 系统的鲁棒性。

    Aug, 2021

  • 解读神经自然语言处理模型对文本扰动的鲁棒性

    研究现代自然语言处理模型中对于不同的输入扰动如何表现更差，进而发现一个模型对于未知文本扰动的鲁棒性较低的原因是模型未很好地学习到如何识别这些扰动。

    Oct, 2021

  • 多集合免疫接种：跨多个挑战集评估模型的稳健性

    探讨语言模型对输入扰动的敏感性以及通过不同训练策略来提高模型性能和鲁棒性的方法，通过在 Tabular-NLI 任务中的实例验证了该模型可对抗不同的扰动而不降低准确性。

    Nov, 2023

  • 公平自然语言处理的扰动增强

    本研究探讨了在人口统计方面出现的偏差对自然语言处理中的模型和数据集的影响，通过对大量的人工标注文本扰动数据的训练，得出采用人口统计扰动数据进行预训练和调优可以使语言模型更加公平，并且能在不牺牲下游任务性能的前提下减少模型的偏差。

    May, 2022

  • 深度学习文本分类算法对实际输入扰动的敏感性研究

    本文研究基于深度学习的文本分类模型（CNN、LSTM 和 BERT）在面对有意义但与最终性能无关的输入扰动（如标点符号和停用词）时的表现，发现包括 BERT 在内的这类模型都很敏感，特别是对于输入扰动的删除尤其受影响。

    Jan, 2022

  • 学习扰动词嵌入以实现超领域问答

    我们提出了一种基于随机噪声生成器的简单而有效的数据增强方法，该方法可以扰动输入问题和上下文的单词嵌入，同时保持其语义不变，从而显著提高了 QA 模型的性能。在五个不同的目标域中，使用我们的词嵌入扰动训练的 QA 模型的表现明显优于基线 DA 方法和使用超过 240K 个人工生成 QA 问答对训练的模型。

    May, 2021

  • 深度自然语言处理中脆弱解释的扰动输入

    本文探讨了使用对抗性扰动攻击两种最先进的自然语言处理模型的可解释性方法，结果表明，即使对少量单词进行更改，这些方法也可能变得不稳定和不可信。

    Aug, 2021

  • 随机文本扰动的效果有时有效

    探究数据增广方法在 NLP 中的效果和可泛化性，通过三个二进制文本匹配分类任务的大规模实验发现，随机文本扰动作为数据增广能给神经分类模型的测试集性能带来正面和负面的影响，具体取决于模型是否足够训练原始训练例子，但这与是否同时或分别应用五个随机文本编辑操作无关，研究强烈暗示随机文本扰动的效果任务特定，而不是普遍积极的。

    Sep, 2022

  • 从词汇扰动中学习，以实现一致的视觉问答

    本文提出了一种使用模块化网络来改善视觉问答模型鲁棒性的方法，以及提出了一个包含大规模语言资源的低成本基准测试，我们的结果表明，对于 VQA 模型的训练和正则化，控制下的语言扰动是一种有用的但当前未充分利用的工具。

    Nov, 2020