机器叙事阅读理解评估调查
本文对 2016 年到 2020 年间关于机器阅读理解方面的 241 篇论文进行了全面的调查,探讨了机器阅读理解的不同方面,包括方法、结构、输入 / 输出和研究的创新之处,并论述了研究的重点发生了变化,从答案提取到答案生成,从单一到多文档阅读理解,从零开始学习到使用预训练的嵌入。同时我们还讨论了这个领域中的流行数据集和评估指标,最后还研究了最常被引用的论文及其贡献。
Jan, 2020
本篇论文主要对机器阅读理解(MRC)领域中的任务、数据集、评估指标等方面进行综合调研和分析,发现现有 MRC 模型虽已超越人类在不同 benchmark 数据集的表现,但与真实的人类阅读理解能力仍存在很大差距,因此提出了一些未来的研究方向和关键问题。
Jun, 2020
本篇论文提出了一种新方法,通过大规模监督学习从而提供阅读理解的数据集,开发了一类基于注意力机制的深度神经网络,使其能够在没有先前语言结构知识的情况下阅读真实文档并回答复杂问题。
Jun, 2015
该论文提出了基于心理学和心理测量学的 MRC 数据集设计理论基础,要求未来的数据集应该评估模型构建上下文相关情境的合理和连贯的表示能力,并通过防止捷径的问题和解释来确保实质性有效性。
Apr, 2020
通过自动化评估学习者摘要提供了一种有用的工具来评估学习者的阅读理解水平。我们提出了一个摘要任务,用于评估非母语阅读理解,并提出了三种新的方法来自动评估学习者的摘要。我们在两个数据集上对我们的模型进行了评估,并表明我们的模型在这项任务上优于传统的依赖于精确单词匹配的方法。我们最好的模型产生了接近专业考官的质量评估。
Jun, 2019
本研究关注阅读理解的新一级别 —— 解释性理解,特别强调推断叙述文本的主题。我们介绍了第一个专门设计用于解释性理解教育叙述文本的数据集,并提供相应的主题文本。该数据集涵盖了各种流派和文化背景,并包含了人工注释的主题关键词,具有不同层次的细粒度。通过采用不同的解释性理解抽象形式,我们进一步对自然语言处理任务进行了形式化,以研究故事的主要思想。经过与先进方法的大量实验,我们发现该任务对自然语言处理研究来说具有挑战性和重要性。该数据集和源代码已公开提供给研究社区。
Apr, 2024
本文系统评述了机器阅读理解中可解释性的基准和方法,并介绍了该领域中表示和推理挑战的演变以及解决这些挑战所采取的步骤。同时,我们还提出了评估解释性系统性能的方法,并确定了存在的开放性研究问题和未来工作的关键方向。
Oct, 2020