Feb, 2020

多选阅读理解的多头注意力多任务学习

PDF
TL;DR本文利用多任务学习在两种多项选择阅读理解任务（RACE 和 DREAM）上实现了新的 DREAM 任务的最新性能，其中运用了基于 Transformer 的模型，通过在上下文和问题 - 答案之间添加额外的多头注意力层来 fine-tune 模型。
machine reading comprehensionnatural language understandingtransformer architecturemulti-task learningdream task
发现论文，激发创造
  • 教模型在理解文档后回答问题

    提出了一种两阶段知识蒸馏方法，通过将 MRC 任务分为两个单独阶段教导模型更好地理解文档，实验结果表明，使用该方法装备的学生模型具有显著的改进，证明了该方法的有效性。

    Jul, 2023

  • 迁移学习增强的单选决策用于多选题答题

    该研究论文以多选机器阅读理解为主题，使用预训练语言模型作为编码器，并通过微调来分享和传递知识。通过训练二元分类，将多选问题转换为单选问题，并选择置信度最高的选项作为最终答案。通过从其他 MRC 任务转移知识，提出的方法摆脱了多选框架，并可以利用其他任务的资源。在 RACE 和 DREAM 数据集上评估基于 ALBERT-xxlarge 模型构建的模型，实验结果表明该模型在多选方法上表现更好，并且通过从其他类型 MRC 任务转移知识，该模型在单个和集合设置中都取得了最先进的结果。

    Apr, 2024

  • MMM：多选阅读理解的多阶段多任务学习

    本研究提出了一种名为 MMM 的基于多阶段多任务学习框架的多选阅读理解方法，其中采用了一种名为多步注意力网络 (MAN) 的新型分类器。实验证明该方法在四个代表性 MCQA 数据集上显著提高了最新技术水平。

    Oct, 2019

  • DUMA: 使用转置思维的阅读理解

    本文提出一种新的多选机器阅读理解模型 (DUMA)，基于人类转位思维解决多选机器阅读理解问题，通过分别考虑语段和问题的焦点来实现匹配，提高了模型的性能，在 DREAM 和 RACE 两个基准多选 MRC 任务中显示其强大状态 - of-the-art 的性能。

    Jan, 2020

  • 神经机器阅读理解：方法与趋势

    本文综述了深度学习在机器阅读理解 (MRC) 中的应用，包括典型的 MRC 任务、神经网络 MRC 的体系结构和新兴领域。文章指出了未来需要解决的问题。

    Jul, 2019

  • 多跳机器阅读理解方法全面调查

    本文综述了近年来一系列关于基于 31 项研究的多段式机器阅读理解方法的探索和研究成果，着重介绍了问题定义、模型技术，以及模型和技术之间的优缺点比较。

    Dec, 2022

  • 知识赋能的中文医学阅读理解表征学习：任务、模型和资源

    本论文介绍了一个多目标的医疗领域机器阅读理解任务，同时提出了一个高质量的医学数据集 CMedMRC，并提出了一种医疗 BERT 模型 CMedBERT，这种模型通过异构特征的动态融合和多任务学习策略将医学知识融入到预训练的语言模型中，实验表明 CMedBERT 通过融合上下文感知和知识感知的令牌表示，始终优于强基线。

    Aug, 2020

  • 越南多项选择阅读理解的深度神经网络模型实验研究

    本文介绍了利用多个神经网络模型对低资源语言（越南语）中的多项选择机器阅读理解的影响进行的实验，其中使用了六种不同的越南语单词嵌入和 BERT 模型，在 ViMMRC 语料库上的测试集中，BERT 模型的准确率为 61.28％。

    Aug, 2020

  • 提高多语言机器阅读理解答案边界检测能力

    本文提出在 fine-tuning 阶段加入两个辅助任务，建立跨语言问题 - 段落对，并结合从 web 挖掘的知识短语进行跨语言 MRC，实验证明该方法有效。

    Apr, 2020

  • BERT 从多项选择阅读理解数据中学到了什么？

    通过对多选阅读理解数据集进行实验，本文发现：1）BERT 模型主要是依靠关键字来进行答案预测，而不是通过语义理解和推理；2）BERT 模型不需要正确的句法信息来解决任务；3）这些数据集中存在着一些人工痕迹，即使没有完整上下文也可以解决任务。

    Oct, 2019