ACLApr, 2019

探究先验知识在具有挑战性的中文机器阅读理解中的应用

PDF
TL;DR本文介绍了第一个自由形式的中文机器阅读理解数据集 (C^3) ，包含 13,369 个文件和 19,577 个来自作为第二语言的汉语考试中所收集的自由形式的多项选择问题。该文提供了大量先前知识的分析和拥有丰富先前知识的实际应用的相关问题的评估。虽然实施了基于规则和神经网络的各种方法，但最佳模型 (68.5%) 和人类读者 (96.0%) 之间还有显著的性能差距，特别是对需要先前知识的问题。同时也研究了关于困扰者合理性和数据增强的效应，可以看出回答 86.8% 的问题需要对文档中的知识和超出文档范畴的领域内知识的理解。我们期望 C^3 能够为现有系统提出巨大挑战，并成为研究如何更好地利用各种先前知识来更好地理解给定的书面或口头定向文本的平台。
machine reading comprehensionchinese languagemultiple-choice questionsprior knowledgeperformance gap
发现论文，激发创造
  • 首届中文机器阅读理解评测数据集

    本文提出了一种新的中文阅读理解数据集 —— 包括选择题和用户问题阅读理解，并且是人工验证和隐藏测试集的大规模训练数据。同时，还举办了首届中文机器阅读理解评估（CMRC-2017），成功吸引了数十名参与者。

    Sep, 2017

  • DREAM：基于对话的阅读理解挑战数据集和模型

    DREAM 是第一个基于会话的多项选择阅读理解数据集，包含 10197 个问题，针对 6444 个对话，84％的答案是非提取式的，85％的问题需要超出单个句子的推理，34％的问题涉及常识知识。Neural networks 的应用对数据集的阅读理解性能有很大改善。

    Feb, 2019

  • 一份中文机器阅读理解句子填空数据集

    本文提出了一个新的任务 —— 句子填空式机器阅读理解，并构建了一个 Chinese dataset called CMRC 2019 来衡量该任务的难度。结果表明，目前先进的预训练模型仍然无法达到人类的水平。

    Apr, 2020

  • 中文机器阅读理解的跨度抽取数据集

    本文介绍了一个针对中文机器阅读理解的 Span-Extraction 数据集及其挑战集，共包含近 20,000 个人类专家在维基百科段落中标注的真实问题，并发布了 CMRC 2018 的评估工作坊，旨在进一步推进中文机器阅读理解研究。

    Oct, 2018

  • DuReader: 来自真实应用场景的中文机器阅读理解数据集

    介绍了 DuReader，它是一个新的大规模、开放领域的中文阅读理解数据集，它通过基于百度搜索和百度知道的问题和文献数据源，提供更多种类的问题注释，尤其是是非和观点问题，并且它是迄今为止最大的中文机器阅读理解数据集。此外，为了帮助社区取得更好的结果，DuReader 和基准系统已经在线发布，也组织了共同的竞赛。这份调研表明，人类的表现明显优于当前的基线系统，为研究人员提供了更多的研究机会和空间。

    Nov, 2017

  • 面向越南语教育的多项选择阅读理解语料库

    提出了 ViMMRC 2.0，结合多步骤的注意力神经网络和自然语言推理任务，对越南语文本进行了阅读理解测试，结果表明其在新数据集上的测试正确率最高可达 58.81％。

    Mar, 2023

  • 知识赋能的中文医学阅读理解表征学习：任务、模型和资源

    本论文介绍了一个多目标的医疗领域机器阅读理解任务，同时提出了一个高质量的医学数据集 CMedMRC，并提出了一种医疗 BERT 模型 CMedBERT，这种模型通过异构特征的动态融合和多任务学习策略将医学知识融入到预训练的语言模型中，实验表明 CMedBERT 通过融合上下文感知和知识感知的令牌表示，始终优于强基线。

    Aug, 2020

  • 教模型在理解文档后回答问题

    提出了一种两阶段知识蒸馏方法，通过将 MRC 任务分为两个单独阶段教导模型更好地理解文档，实验结果表明，使用该方法装备的学生模型具有显著的改进，证明了该方法的有效性。

    Jul, 2023

  • 英文机器阅读理解数据集调查

    该论文调查了 60 个英语机器阅读理解数据集，评估其问题和答案形式，并分析了它们的大小，词汇量，数据来源，创建方法，人类性能水平和首问词等特征。研究表明，维基百科是最常见的数据来源，而为什么，什么时候和哪里等问题在不同数据集中相对较少。

    Jan, 2021

  • 教授机器阅读和理解

    本篇论文提出了一种新方法，通过大规模监督学习从而提供阅读理解的数据集，开发了一类基于注意力机制的深度神经网络，使其能够在没有先前语言结构知识的情况下阅读真实文档并回答复杂问题。

    Jun, 2015