ACLMay, 2020

基于图注意力网络的文档建模用于多粒度机器阅读理解

PDF
TL;DR本文提出了一种新的多粒度机器阅读理解框架，利用图注意力网络对文档的不同层次进行建模，以同时学习各个级别的表示，从而提取长答案和短答案并建模其之间的依赖关系，并通过联合训练来显著提高对两种类型答案的准确性。
发现论文，激发创造
  • 阅读理解和问答的多粒度层次注意力融合网络

    本文提出了一种新颖的分层注意力网络，用于阅读理解式问题回答，在问题和段落之间的不同粒度层次上水平和垂直进行注意力和融合。通过具有精细语言嵌入的问题和段落的编码，引入多粒度融合方法来全面融合来自全局和受关注表示的信息。最后，引入分层注意力网络，通过多级软对齐逐步聚焦于答案跨度。广泛的实验在大规模 SQuAD 和 TriviaQA 数据集上验证了所提出方法的有效性，同时在 TriviatQA、AddSent 和 AddOne-Sent 数据集上达到了最先进的结果。

    Nov, 2018

  • 长篇文档的分层问答

    基于强化学习和词向量，提出了一种可以高效处理长篇文档的问答框架，该框架结合了快速筛选相关句子和精读相关句子的策略，并在 Wikireading 的一个挑战性子集和一组新的数据集上实现了最新的性能，同时使模型的速度提高 3.5 倍至 6.7 倍。

    Nov, 2016

  • 使用图卷积网络跨文档进行推理的问答

    本研究提出了一种基于神经模型和图卷积网络的阅读理解方法，可以跨多个文档进行多步推理和信息推理，并在 WikiHop 数据集上实现了最先进的结果。

    Aug, 2018

  • 图注意力网络实现的对比文档表征学习

    本文提出使用图注意力网络在可用的预训练 Transformer 模型之上来学习文档嵌入，并基于该模型设计简单的对比学习策略，在大量无标签语料库上预训练模型。经验证明，我们的方法在文档分类和文档检索任务中是有效的。

    Oct, 2021

  • 使用压缩图选择网络在长文档问答中捕获全局结构信息

    本文提出了一种基于压缩图选择网络来捕捉全局结构的长文本问答模型，主要集中在长文档问答的证据选择阶段。通过本文的大量实验研究证明，该模型在两个数据集上优于以前的方法。

    Oct, 2022

  • 基于图注意力网络的多模态预训练在文档理解中的应用

    本文提出了一种基于多模态图注意力机制的图文结合的自动文档分析模型 (GraphDoc)，该模型利用文本、布局和图像信息进行多模态预训练，并通过门控融合层对每个节点进行多模态特征融合，通过图注意层建模每个节点之间的上下文关系，学习了仅使用 320k 未标注文档的通用表示， 在公共数据集上获得了最先进的性能。

    Mar, 2022

  • 基于分层图神经网络的组合式问答

    本研究提出了一个包含超过 120k 个人工标注问题的大规模组合式问答数据集，回答在此数据集上的问题需要组合文档中的若干段落来生成最终答案。本文针对该问题提出了一种基于图神经网络的层次预训练模型，并在预训练和机器阅读理解领域中取得了巨大的提升。

    Jan, 2021

  • 简单而有效的多段阅读理解

    该论文旨在将神经段落级问题回答模型适应于以整个文档作为输入的情况，通过使用共享标准化训练目标，从多个段落中选择样本并鼓励模型产生全局正确的输出，该方法结合最先进的文档 QA 数据模型进行训练，实验证明了其在多个文档 QA 数据集上具有强大的性能表现，只需训练模型即可实现从 56.7 F1 到 71.3 F1 的大幅提高。

    Oct, 2017

  • 提升问题生成的上下文捕获能力

    本文旨在通过运用多阶段关注机制和序列到序列模型，在长文档的背景下产生更真实的问题，结果表明在 SQuAD、MS MARCO 和 NewsQA 三个问答数据集上，该方法优于现有方法。

    Oct, 2019

  • 基于深度理解的多文档机器阅读理解

    该研究提出了一种基于深度理解的多文档机器阅读理解模型，包括三个模块：准确语义理解模块、输入问题和文档的交互模块以及答案支持模块。通过对 TriviaQA Web 和 DuReader 两个基准数据集的广泛实验证明，该模型在两个数据集上均表现出最先进的结果。

    Feb, 2022