Apr, 2023

评估机器阅读理解模型对低资源实体重命名的鲁棒性

PDF
TL;DR本研究旨在探究机器阅读理解模型对命名实体重命名的鲁棒性，尤其是对低资源地区如非洲的实体。通过创建一个被重命名的数据集 AfriSQuAD2 来测试模型的鲁棒性，并发现大模型相对于基础模型表现更好，而人类实体类型则高度挑战 MRC 模型的性能。
question answeringmachine reading comprehensionrobustnessentity renaminglow-resource regions
发现论文，激发创造
  • 阅读理解模型对实体改名的鲁棒性分析

    研究机器阅读理解模型对实体更名的鲁棒性，并发现实体更名对于 MRC 模型的预测准确率有显著影响。通过使用各种不同的源数据自动替换实体名称，我们在五个数据集和三个预训练模型结构上验证了该问题，并发现 SpanBERT 模型在实体更名下具有更好的鲁棒性。此外，我们还尝试了不同的遮蔽策略，发现基于实体遮蔽的方法能够提高 MRC 模型的鲁棒性。

    Oct, 2021

  • 机器阅读理解的稳健领域自适应

    本文提出了一种名为 RMRC 的方法，使用对话和领域自适应技术构建问题 - 答案对，通过答案提取器和问题选择器以及增强式自训练方法进行优化，从而解决机器阅读理解中因领域迁移引起的问题，包括噪声对应和效率降低，实验证明了该方法的有效性。

    Sep, 2022

  • 机器阅读理解模型鲁棒性基准测试

    本文提出了一个新的基准数据集 AdvRACE，用于测试机器阅读理解模型在模拟的并非完全准确的测试环境下的鲁棒性，通过提供不同类型的对抗攻击测试，包括基于新的分散干扰的抽取和生成攻击，并表明现有的最先进模型都非常容易受到这些攻击的影响。

    Apr, 2020

  • 未能回答问题对机器阅读理解模型鲁棒性的影响

    本文研究了使用 SQuAD 2.0 中不可回答的问题对预先训练的语言模型进行微调，以提高其对抗攻击的鲁棒性。结果表明，在 SQuAD 2.0 上进行微调可以显著提高模型的鲁棒性，并且 SQuAD 2.0 还会影响模型学习到的内容。

    Jan, 2023

  • NER-MQMRC: 将命名实体识别形式化为多问题机器阅读理解

    本研究提出了一种新颖的基于 BERT 的多问题机器阅读理解体系结构，将命名实体识别作为一个多问题 MRC 任务，旨在解决大规模电子商务属性（或实体）在高性能和优化训练和推理运行时从非结构化文本中提取的问题，该模型在三个 NER 数据集上获得了比 NER-SQMRC 框架模型更快的训练和推理时间，并且保持与单个问题 MRC（NER-SQMRC）性能相当。

    May, 2022

  • 论文级关系抽取模型对实体名称变化的鲁棒性研究

    通过使用维基数据生成改名实体的文档，并对三个代表性文档级关系抽取模型和两个大规模语言模型在强化学习环境下进行实验，发现他们对实体名称的变化缺乏鲁棒性，尤其是在跨句子关系实例和包含更多实体的文档中。因此，我们提出了一种强化学习的训练方法，旨在改进文档级关系抽取模型的鲁棒性并增强其理解和推理能力。同时我们还证实了该方法的基本思想同样适用于 DocRE 的上下文学习。

    Jun, 2024

  • 带信息搜索代理的交互式机器阅读理解

    通过重新设计现有的机器阅读理解数据集，将其转化为互动、部分可观察的环境，加入上下文命令并训练模型，有望将模型扩展到面向 Web 级别的 QA 场景。

    Aug, 2019

  • 控制 Web 问答的风险

    该研究探讨了 Web QA 的风险问题，提出了一种基于预测不确定性的风险控制框架，并引入了风险相关的度量标准进行 Web QA 的评估。实证结果证明了该方法的有效性。

    May, 2019

  • 低资源机器阅读的简单有效数据增强方法：物美价廉还是一分价钱一分货？

    这篇研究提出了一种简单有效的数据增强策略，可以帮助低资源情况下的机器阅读理解（MRC）系统更好地预训练答案提取组件。该方法的核心在于，首先采用包含正确答案的近似上下文的数据对 MRC 系统的答案提取部件进行预训练，然后再对确切答案进行训练。实验表明，这种策略可以提高系统的检索和答案提取性能。

    Jun, 2021

  • 提高多语言机器阅读理解答案边界检测能力

    本文提出在 fine-tuning 阶段加入两个辅助任务，建立跨语言问题 - 段落对，并结合从 web 挖掘的知识短语进行跨语言 MRC，实验证明该方法有效。

    Apr, 2020