DUMA: 使用转置思维的阅读理解
本文利用多任务学习在两种多项选择阅读理解任务(RACE 和 DREAM)上实现了新的 DREAM 任务的最新性能,其中运用了基于 Transformer 的模型,通过在上下文和问题 - 答案之间添加额外的多头注意力层来 fine-tune 模型。
Feb, 2020
本文提出了一种新的机器阅读理解方法 —— 双向联合匹配网络 (DCMN),该方法在多项选择阅读理解数据集 (RACE) 上取得了 state-of-the-art 结果,并计算出了同时同时考虑文章、问题和答案的相互关系的表示方法。
Jan, 2019
该研究论文以多选机器阅读理解为主题,使用预训练语言模型作为编码器,并通过微调来分享和传递知识。通过训练二元分类,将多选问题转换为单选问题,并选择置信度最高的选项作为最终答案。通过从其他 MRC 任务转移知识,提出的方法摆脱了多选框架,并可以利用其他任务的资源。在 RACE 和 DREAM 数据集上评估基于 ALBERT-xxlarge 模型构建的模型,实验结果表明该模型在多选方法上表现更好,并且通过从其他类型 MRC 任务转移知识,该模型在单个和集合设置中都取得了最先进的结果。
Apr, 2024
本研究提出了一种名为 MMM 的基于多阶段多任务学习框架的多选阅读理解方法,其中采用了一种名为多步注意力网络 (MAN) 的新型分类器。实验证明该方法在四个代表性 MCQA 数据集上显著提高了最新技术水平。
Oct, 2019
提出了一种两阶段知识蒸馏方法,通过将 MRC 任务分为两个单独阶段教导模型更好地理解文档,实验结果表明,使用该方法装备的学生模型具有显著的改进,证明了该方法的有效性。
Jul, 2023
提出了一种基于端到端神经模型的多文本阅读理解模式,通过多个模块的共同作用来检测文本间的答案验证,实现对真实网络数据的阅读理解,显著提高了 MS-MARCO 数据集和中文 DuReader 数据集的 MRC 模型性能。
May, 2018
本研究提出一种深度串级学习模型来平衡在线问答系统的效能和效率之间的基本权衡,在多文档的 MRC 场景中取得更好的效果并能够在不到 50 毫秒内稳定地为数百万日请求提供服务。
Nov, 2018
本文提出在 fine-tuning 阶段加入两个辅助任务,建立跨语言问题 - 段落对,并结合从 web 挖掘的知识短语进行跨语言 MRC,实验证明该方法有效。
Apr, 2020
提出了面向非英语语言的跨语言机器阅读理解(CLMRC)任务,通过双向 Bert 模型和回译方法,利用英语作为基础语言的大规模训练数据来提高低资源语言的阅读理解性能,并在中文机器阅读理解数据集上进行了实验,结果表明该方法能够显著提高机器阅读理解的性能。
Sep, 2019
本文介绍了利用多个神经网络模型对低资源语言(越南语)中的多项选择机器阅读理解的影响进行的实验,其中使用了六种不同的越南语单词嵌入和 BERT 模型,在 ViMMRC 语料库上的测试集中,BERT 模型的准确率为 61.28%。
Aug, 2020