多任务学习中基于样本重新加权的机器阅读理解
本研究提出一种简单而有效的方法,通过使用监督多任务学习,将 IR 和 RC 任务结合起来,以考虑答案跨度来训练 IR 组件,实现大规模机器阅读,从而取得了最先进的表现。
Aug, 2018
本文利用多任务学习在两种多项选择阅读理解任务(RACE 和 DREAM)上实现了新的 DREAM 任务的最新性能,其中运用了基于 Transformer 的模型,通过在上下文和问题 - 答案之间添加额外的多头注意力层来 fine-tune 模型。
Feb, 2020
本文提出了一种将外部关联知识与多任务学习相结合的方法,以提高机器阅读理解的效果,并在两个多选基准数据集上进行了实验,结果表明该方法在常识推理方面表现优异。
Aug, 2019
提出了一种两阶段知识蒸馏方法,通过将 MRC 任务分为两个单独阶段教导模型更好地理解文档,实验结果表明,使用该方法装备的学生模型具有显著的改进,证明了该方法的有效性。
Jul, 2023
本文提出了一种使用少量半结构化解释 “教” 机器阅读理解的方法,同时提取结构化变量和规则,并组成神经模块作为下游 MRC 模型的训练实例的注释,使用可学习的神经模块和软逻辑来处理语言变化并克服模型覆盖率不足。在 SQuAD 数据集上,使用 26 个解释进行监督训练,该方法实现了 70.14% 的 F1 得分,与使用 1100 个标记实例的普通监督学习相比,速度提高了 12 倍。
May, 2020
提出了面向非英语语言的跨语言机器阅读理解(CLMRC)任务,通过双向 Bert 模型和回译方法,利用英语作为基础语言的大规模训练数据来提高低资源语言的阅读理解性能,并在中文机器阅读理解数据集上进行了实验,结果表明该方法能够显著提高机器阅读理解的性能。
Sep, 2019
本研究提出了一种名为 MMM 的基于多阶段多任务学习框架的多选阅读理解方法,其中采用了一种名为多步注意力网络 (MAN) 的新型分类器。实验证明该方法在四个代表性 MCQA 数据集上显著提高了最新技术水平。
Oct, 2019
本论文介绍了一个多目标的医疗领域机器阅读理解任务,同时提出了一个高质量的医学数据集 CMedMRC,并提出了一种医疗 BERT 模型 CMedBERT,这种模型通过异构特征的动态融合和多任务学习策略将医学知识融入到预训练的语言模型中,实验表明 CMedBERT 通过融合上下文感知和知识感知的令牌表示,始终优于强基线。
Aug, 2020
本篇论文主要对机器阅读理解(MRC)领域中的任务、数据集、评估指标等方面进行综合调研和分析,发现现有 MRC 模型虽已超越人类在不同 benchmark 数据集的表现,但与真实的人类阅读理解能力仍存在很大差距,因此提出了一些未来的研究方向和关键问题。
Jun, 2020