ACLOct, 2018

使用通用阅读策略提高机器阅读理解能力

PDF
TL;DR该论文提出了三种针对无摘录机器阅读理解 (MRC) 的通用阅读策略：双向阅读、高亮显示和自我评估，并通过在 RACE 数据集和多个非抽取式 MRC 数据集上微调预训练的语言模型以证明其有效性和适用性。
machine reading comprehensionreading strategiespre-trainingfine-tuningunsupervised learning
发现论文，激发创造
  • 机器阅读理解中的通用知识显式利用

    本文提出了一种基于数据丰富的方法，提取给定语料对中的语义联系作为人类的通用知识，并在此基础上构建了一种知识辅助的 MRC 模型，与业内领先 MRC 模型相比具有相当的性能和更强的抗干扰能力。

    Sep, 2018

  • 神经机器阅读理解：方法与趋势

    本文综述了深度学习在机器阅读理解 (MRC) 中的应用，包括典型的 MRC 任务、神经网络 MRC 的体系结构和新兴领域。文章指出了未来需要解决的问题。

    Jul, 2019

  • 使用组合性解释来教授机器理解

    本文提出了一种使用少量半结构化解释 “教” 机器阅读理解的方法，同时提取结构化变量和规则，并组成神经模块作为下游 MRC 模型的训练实例的注释，使用可学习的神经模块和软逻辑来处理语言变化并克服模型覆盖率不足。在 SQuAD 数据集上，使用 26 个解释进行监督训练，该方法实现了 70.14% 的 F1 得分，与使用 1100 个标记实例的普通监督学习相比，速度提高了 12 倍。

    May, 2020

  • 教模型在理解文档后回答问题

    提出了一种两阶段知识蒸馏方法，通过将 MRC 任务分为两个单独阶段教导模型更好地理解文档，实验结果表明，使用该方法装备的学生模型具有显著的改进，证明了该方法的有效性。

    Jul, 2023

  • 机器阅读理解的基准评测：心理学视角

    该论文提出了基于心理学和心理测量学的 MRC 数据集设计理论基础，要求未来的数据集应该评估模型构建上下文相关情境的合理和连贯的表示能力，并通过防止捷径的问题和解释来确保实质性有效性。

    Apr, 2020

  • 提高多语言机器阅读理解答案边界检测能力

    本文提出在 fine-tuning 阶段加入两个辅助任务，建立跨语言问题 - 段落对，并结合从 web 挖掘的知识短语进行跨语言 MRC，实验证明该方法有效。

    Apr, 2020

  • 机器阅读理解：文献综述

    本文总结了机器阅读理解的最新进展，在语料库和技术两个方面进行了重点介绍和比较，详细描述了不同 MRC 语料库的特点以及一些典型 MRC 技术的主要思想。

    Jun, 2019

  • 机器阅读理解模型鲁棒性基准测试

    本文提出了一个新的基准数据集 AdvRACE，用于测试机器阅读理解模型在模拟的并非完全准确的测试环境下的鲁棒性，通过提供不同类型的对抗攻击测试，包括基于新的分散干扰的抽取和生成攻击，并表明现有的最先进模型都非常容易受到这些攻击的影响。

    Apr, 2020

  • 多篇文档阅读理解的深度级联模型

    本研究提出一种深度串级学习模型来平衡在线问答系统的效能和效率之间的基本权衡，在多文档的 MRC 场景中取得更好的效果并能够在不到 50 毫秒内稳定地为数百万日请求提供服务。

    Nov, 2018

  • 跨语言机器阅读理解

    提出了面向非英语语言的跨语言机器阅读理解（CLMRC）任务，通过双向 Bert 模型和回译方法，利用英语作为基础语言的大规模训练数据来提高低资源语言的阅读理解性能，并在中文机器阅读理解数据集上进行了实验，结果表明该方法能够显著提高机器阅读理解的性能。

    Sep, 2019