Mar, 2020

机器阅读理解 Gold 标准评估框架

PDF
TL;DR本论文提出了一个统一框架来系统研究现有的语言特征、推理需求、背景知识和事实正确性以及词汇线索的存在。研究结果发现 MRC 数据存在词汇歧义、答案事实正确性的差异和词汇线索的存在，这些都可能降低阅读理解的复杂性和质量。
machine reading comprehensionneural mrc systemsgold standardslexical cuesreading comprehension complexity
发现论文，激发创造
  • 机器阅读理解：任务、评价指标和基准数据集综述

    本篇论文主要对机器阅读理解（MRC）领域中的任务、数据集、评估指标等方面进行综合调研和分析，发现现有 MRC 模型虽已超越人类在不同 benchmark 数据集的表现，但与真实的人类阅读理解能力仍存在很大差距，因此提出了一些未来的研究方向和关键问题。

    Jun, 2020

  • 机器阅读理解的基准评测：心理学视角

    该论文提出了基于心理学和心理测量学的 MRC 数据集设计理论基础，要求未来的数据集应该评估模型构建上下文相关情境的合理和连贯的表示能力，并通过防止捷径的问题和解释来确保实质性有效性。

    Apr, 2020

  • 教模型在理解文档后回答问题

    提出了一种两阶段知识蒸馏方法，通过将 MRC 任务分为两个单独阶段教导模型更好地理解文档，实验结果表明，使用该方法装备的学生模型具有显著的改进，证明了该方法的有效性。

    Jul, 2023

  • 神经机器阅读理解：方法与趋势

    本文综述了深度学习在机器阅读理解 (MRC) 中的应用，包括典型的 MRC 任务、神经网络 MRC 的体系结构和新兴领域。文章指出了未来需要解决的问题。

    Jul, 2019

  • 评估机器阅读理解数据集的基准测试能力

    本篇研究提出了一种半自动化的消融实验方法，通过检查即使除去与语言理解相关的特征后是否仍然能回答问题，来评估语言理解能力挑战数据集的性能，实验结果表明，很多问题并不需要语法复杂的推理，为了精准评估 MRC 数据集，需要在设计时额外注意。

    Nov, 2019

  • 机器阅读理解：文献综述

    本文总结了机器阅读理解的最新进展，在语料库和技术两个方面进行了重点介绍和比较，详细描述了不同 MRC 语料库的特点以及一些典型 MRC 技术的主要思想。

    Jun, 2019

  • 通过了解所学来满足所需

    通过评估模型的能力，并在此基础上基于模型状态提供适当的训练数据，我们设计了一个可解释和多维度的 MRC 模型能力评估框架，并开发了 CBBC 策略，实现了基于模型能力的训练，从而最大化数据价值和提高训练效率。实验表明，我们的方法显著提高了 MRC 任务的性能，$EM/F_1$ 最高可达到 11.22%/8.71%。

    Mar, 2022

  • 使用组合性解释来教授机器理解

    本文提出了一种使用少量半结构化解释 “教” 机器阅读理解的方法，同时提取结构化变量和规则，并组成神经模块作为下游 MRC 模型的训练实例的注释，使用可学习的神经模块和软逻辑来处理语言变化并克服模型覆盖率不足。在 SQuAD 数据集上，使用 26 个解释进行监督训练，该方法实现了 70.14% 的 F1 得分，与使用 1100 个标记实例的普通监督学习相比，速度提高了 12 倍。

    May, 2020

  • 机器阅读理解可解释性调查

    本文系统评述了机器阅读理解中可解释性的基准和方法，并介绍了该领域中表示和推理挑战的演变以及解决这些挑战所采取的步骤。同时，我们还提出了评估解释性系统性能的方法，并确定了存在的开放性研究问题和未来工作的关键方向。

    Oct, 2020

  • 机器阅读理解：上下文语言模型的作用与发展

    本篇综述论文全面比较了机器阅读理解的研究，主要介绍了它的起源、发展历程、对 NLP 社区的影响、定义、数据集、技术方法、研究亮点，并提出了新的分类和分类法，认为机器阅读理解将浅层文本匹配转化为认知推理的领域，同时也深化了从语言处理到语言理解的进展。

    May, 2020