ACLOct, 2021

阅读理解模型对实体改名的鲁棒性分析

PDF
TL;DR研究机器阅读理解模型对实体更名的鲁棒性，并发现实体更名对于 MRC 模型的预测准确率有显著影响。通过使用各种不同的源数据自动替换实体名称，我们在五个数据集和三个预训练模型结构上验证了该问题，并发现 SpanBERT 模型在实体更名下具有更好的鲁棒性。此外，我们还尝试了不同的遮蔽策略，发现基于实体遮蔽的方法能够提高 MRC 模型的鲁棒性。
machine reading comprehensionentity renamingrobustnesspretrained model architecturesmasking strategies
发现论文，激发创造
  • 评估机器阅读理解模型对低资源实体重命名的鲁棒性

    本研究旨在探究机器阅读理解模型对命名实体重命名的鲁棒性，尤其是对低资源地区如非洲的实体。通过创建一个被重命名的数据集 AfriSQuAD2 来测试模型的鲁棒性，并发现大模型相对于基础模型表现更好，而人类实体类型则高度挑战 MRC 模型的性能。

    Apr, 2023

  • 论文级关系抽取模型对实体名称变化的鲁棒性研究

    通过使用维基数据生成改名实体的文档，并对三个代表性文档级关系抽取模型和两个大规模语言模型在强化学习环境下进行实验，发现他们对实体名称的变化缺乏鲁棒性，尤其是在跨句子关系实例和包含更多实体的文档中。因此，我们提出了一种强化学习的训练方法，旨在改进文档级关系抽取模型的鲁棒性并增强其理解和推理能力。同时我们还证实了该方法的基本思想同样适用于 DocRE 的上下文学习。

    Jun, 2024

  • NER-to-MRC: 命名实体识别完全作为机器阅读理解解决方案

    利用机器阅读理解将命名实体识别作为一个解决问题，能够很好的解决大量额外数据收集和预训练的高成本挑战，展示了出色的性能提高并实现了最新的成果。

    May, 2023

  • NER-MQMRC: 将命名实体识别形式化为多问题机器阅读理解

    本研究提出了一种新颖的基于 BERT 的多问题机器阅读理解体系结构，将命名实体识别作为一个多问题 MRC 任务，旨在解决大规模电子商务属性（或实体）在高性能和优化训练和推理运行时从非结构化文本中提取的问题，该模型在三个 NER 数据集上获得了比 NER-SQMRC 框架模型更快的训练和推理时间，并且保持与单个问题 MRC（NER-SQMRC）性能相当。

    May, 2022

  • 机器阅读理解模型鲁棒性基准测试

    本文提出了一个新的基准数据集 AdvRACE，用于测试机器阅读理解模型在模拟的并非完全准确的测试环境下的鲁棒性，通过提供不同类型的对抗攻击测试，包括基于新的分散干扰的抽取和生成攻击，并表明现有的最先进模型都非常容易受到这些攻击的影响。

    Apr, 2020

  • 利用对抗攻击揭示机器阅读理解模型中的统计偏差

    本文研究了预训练语言模型在机器阅读理解任务中表现的问题，发现现有模型的性能存在统计偏差，提出了一种有效的攻击方法以及一种改进的训练方法来解决这个问题。

    May, 2021

  • 名字中有什么？ BERT 命名实体表示是否与任何其他名称一样优秀？

    本文采用替换同一类型类别的输入来评估 BERT-based NLP 模型中命名实体表示，并提供了一个基于集成学习的简单方法来提高其在自然和对抗数据集上的鲁棒性和精度。

    Jul, 2020

  • 命名实体识别的严格研究：微调预训练模型可否引领应用？

    本文研究在 fine-tuning 预训练模型的情况下，在命名实体识别任务中如何面对开放环境中可能面临的挑战，作者进行了随机测试和实证实验，结果表明，命名规则对于模型推广到未见过的提及至关重要，高覆盖率可能削弱模型的推广能力，而上下文模式则不需要使用大量数据来捕捉。

    Apr, 2020

  • BERT 从多项选择阅读理解数据中学到了什么？

    通过对多选阅读理解数据集进行实验，本文发现：1）BERT 模型主要是依靠关键字来进行答案预测，而不是通过语义理解和推理；2）BERT 模型不需要正确的句法信息来解决任务；3）这些数据集中存在着一些人工痕迹，即使没有完整上下文也可以解决任务。

    Oct, 2019

  • 基于机器阅读理解的命名实体识别：一种多任务学习方法

    本文提出了一种多任务学习框架，将标签依赖关系融入基于机器阅读理解的命名实体识别，通过使用自注意力模块来捕捉标签之间的依赖关系，实现更好的性能。

    Sep, 2023