Aug, 2018

检索与阅读：信息检索和阅读理解的多任务学习

PDF
TL;DR本研究提出一种简单而有效的方法，通过使用监督多任务学习，将 IR 和 RC 任务结合起来，以考虑答案跨度来训练 IR 组件，实现大规模机器阅读，从而取得了最先进的表现。
machine readinginformation retrievalreading comprehensionmulti-task learningstate-of-the-art
发现论文，激发创造
  • 揭示语义检索对大规模机器阅读的重要性

    本文提出管道系统及语义检索中间层制定通用设计指南。在事实检查和开放领域多跳 QA 中，该系统取得了表现。统计分析表明，中间层语义检索提高了上游信息的筛选效率，下游建模的数据质量，实现了学习上下文逻辑结构的机器阅读。

    Sep, 2019

  • 利用多任务学习将关系知识纳入常识阅读理解

    本文提出了一种将外部关联知识与多任务学习相结合的方法，以提高机器阅读理解的效果，并在两个多选基准数据集上进行了实验，结果表明该方法在常识推理方面表现优异。

    Aug, 2019

  • 多文档阅读理解

    本文介绍了阅读理解及其在自然语言处理领域的发展，并研究了单文档阅读理解作为多文档阅读理解系统的基础的作用，同时介绍了 RE3QA 模型作为多文档阅读理解系统的最佳答案提取工具。

    Jan, 2022

  • 教模型在理解文档后回答问题

    提出了一种两阶段知识蒸馏方法，通过将 MRC 任务分为两个单独阶段教导模型更好地理解文档，实验结果表明，使用该方法装备的学生模型具有显著的改进，证明了该方法的有效性。

    Jul, 2023

  • 多篇文档阅读理解的深度级联模型

    本研究提出一种深度串级学习模型来平衡在线问答系统的效能和效率之间的基本权衡，在多文档的 MRC 场景中取得更好的效果并能够在不到 50 毫秒内稳定地为数百万日请求提供服务。

    Nov, 2018

  • 带信息搜索代理的交互式机器阅读理解

    通过重新设计现有的机器阅读理解数据集，将其转化为互动、部分可观察的环境，加入上下文命令并训练模型，有望将模型扩展到面向 Web 级别的 QA 场景。

    Aug, 2019

  • 跨段落答案验证的多段机器阅读理解

    提出了一种基于端到端神经模型的多文本阅读理解模式，通过多个模块的共同作用来检测文本间的答案验证，实现对真实网络数据的阅读理解，显著提高了 MS-MARCO 数据集和中文 DuReader 数据集的 MRC 模型性能。

    May, 2018

  • MMM：多选阅读理解的多阶段多任务学习

    本研究提出了一种名为 MMM 的基于多阶段多任务学习框架的多选阅读理解方法，其中采用了一种名为多步注意力网络 (MAN) 的新型分类器。实验证明该方法在四个代表性 MCQA 数据集上显著提高了最新技术水平。

    Oct, 2019

  • 使用组合性解释来教授机器理解

    本文提出了一种使用少量半结构化解释 “教” 机器阅读理解的方法，同时提取结构化变量和规则，并组成神经模块作为下游 MRC 模型的训练实例的注释，使用可学习的神经模块和软逻辑来处理语言变化并克服模型覆盖率不足。在 SQuAD 数据集上，使用 26 个解释进行监督训练，该方法实现了 70.14% 的 F1 得分，与使用 1100 个标记实例的普通监督学习相比，速度提高了 12 倍。

    May, 2020

  • 多任务学习中基于样本重新加权的机器阅读理解

    本研究提出了一种多任务学习框架，用于学习一个联合的机器阅读理解模型，可应用于不同领域的阅读理解任务。研究采用了样本分配权重的方法，并结合预训练语言模型（如 ELMo），在一组阅读理解数据集上实现了新的最佳效果。

    Sep, 2018