May, 2020

长文本机器阅读理解的循环分块机制

PDF
TL;DR本文研究了长篇文本上的机器阅读理解（MRC），提出了一种利用强化学习和循环机制实现更加灵活的分块方式，以提高 MRC 模型的效果。实验表明，该模型可以更好地捕捉完整答案及其上下文信息，且能够跨越多个文本段落提供答案。
machine reading comprehensionmrcpretrained transformer modelflexible chunkingrecurrent mechanisms
发现论文，激发创造
  • 教模型在理解文档后回答问题

    提出了一种两阶段知识蒸馏方法，通过将 MRC 任务分为两个单独阶段教导模型更好地理解文档，实验结果表明，使用该方法装备的学生模型具有显著的改进，证明了该方法的有效性。

    Jul, 2023

  • 阅读理解中端对端答案块提取和排序

    本文提出了一种名为 DCR（dynamic chunk reader）的神经网络阅读理解模型，能够从给定文档中提取和排名一组答案候选项来回答问题，相较于之前的神经网络 RC 模型，DCR 更加注重预测变长的答案，实验结果表明，DCR 在 SQuAD 数据集上取得了最先进的精确匹配和 F1 分数。

    Oct, 2016

  • 长篇文档的分层问答

    基于强化学习和词向量，提出了一种可以高效处理长篇文档的问答框架，该框架结合了快速筛选相关句子和精读相关句子的策略，并在 Wikireading 的一个挑战性子集和一组新的数据集上实现了最新的性能，同时使模型的速度提高 3.5 倍至 6.7 倍。

    Nov, 2016

  • 使用组合性解释来教授机器理解

    本文提出了一种使用少量半结构化解释 “教” 机器阅读理解的方法，同时提取结构化变量和规则，并组成神经模块作为下游 MRC 模型的训练实例的注释，使用可学习的神经模块和软逻辑来处理语言变化并克服模型覆盖率不足。在 SQuAD 数据集上，使用 26 个解释进行监督训练，该方法实现了 70.14% 的 F1 得分，与使用 1100 个标记实例的普通监督学习相比，速度提高了 12 倍。

    May, 2020

  • 多篇文档阅读理解的深度级联模型

    本研究提出一种深度串级学习模型来平衡在线问答系统的效能和效率之间的基本权衡，在多文档的 MRC 场景中取得更好的效果并能够在不到 50 毫秒内稳定地为数百万日请求提供服务。

    Nov, 2018

  • 利用机器阅读理解从文本构建动态知识图谱

    我们提出了一种神经机器阅读模型，它从过程文本中构建动态知识图，并利用它们来跟踪参与实体的演变状态，从而改善机器对文本的理解。

    Oct, 2018

  • 多选阅读理解的多头注意力多任务学习

    本文利用多任务学习在两种多项选择阅读理解任务（RACE 和 DREAM）上实现了新的 DREAM 任务的最新性能，其中运用了基于 Transformer 的模型，通过在上下文和问题 - 答案之间添加额外的多头注意力层来 fine-tune 模型。

    Feb, 2020

  • 提高多语言机器阅读理解答案边界检测能力

    本文提出在 fine-tuning 阶段加入两个辅助任务，建立跨语言问题 - 段落对，并结合从 web 挖掘的知识短语进行跨语言 MRC，实验证明该方法有效。

    Apr, 2020

  • 多视图内容感知长文档检索

    通过多视角内容感知索引（MC 索引）来提高长文档问答（DocQA）的性能，无需训练或微调。与现有的固定长度切块方式相比，MC 索引显著提高了召回率，并能与任何检索器无缝集成。

    Apr, 2024

  • 检索与阅读：信息检索和阅读理解的多任务学习

    本研究提出一种简单而有效的方法，通过使用监督多任务学习，将 IR 和 RC 任务结合起来，以考虑答案跨度来训练 IR 组件，实现大规模机器阅读，从而取得了最先进的表现。

    Aug, 2018