Nov, 2018

阅读理解和问答的多粒度层次注意力融合网络

PDF
TL;DR本文提出了一种新颖的分层注意力网络，用于阅读理解式问题回答，在问题和段落之间的不同粒度层次上水平和垂直进行注意力和融合。通过具有精细语言嵌入的问题和段落的编码，引入多粒度融合方法来全面融合来自全局和受关注表示的信息。最后，引入分层注意力网络，通过多级软对齐逐步聚焦于答案跨度。广泛的实验在大规模 SQuAD 和 TriviaQA 数据集上验证了所提出方法的有效性，同时在 TriviatQA、AddSent 和 AddOne-Sent 数据集上达到了最先进的结果。
hierarchical attention networkreading comprehensionquestion answeringsemantic levelsoftalignment
发现论文，激发创造
  • FusionNet: 基于全意识关注的融合方法及其在机器理解中的应用

    本文介绍了一种名为 FusionNet 的新型神经结构，它通过三个方面的创新来扩展现有的注意力方法。我们将 FusionNet 应用于斯坦福问答数据集（SQuAD）中，并在官方 SQuAD 排行榜上取得了单一模型和集成模型的第一名。同时，我们验证了 FusionNet 的泛化性，并且它在两个对抗性 SQuAD 数据集上取得了新的最高水平。

    Nov, 2017

  • 基于图注意力网络的文档建模用于多粒度机器阅读理解

    本文提出了一种新的多粒度机器阅读理解框架，利用图注意力网络对文档的不同层次进行建模，以同时学习各个级别的表示，从而提取长答案和短答案并建模其之间的依赖关系，并通过联合训练来显著提高对两种类型答案的准确性。

    May, 2020

  • 一个面向问题的多要素注意力网络用于问答

    本文提出一种新颖的端到端问题聚焦的多因素注意网络，用于回答提问文本中的问题，通过张量变换实现多因素关注编码，以对散布在多个句子中的信息进行建模，并采用最大化注意聚合机制来对提问文本进行编码，从而实现对问题类型的隐式推断，并在三个大型挑战性问题回答数据集中实现了显著的性能提升。

    Jan, 2018

  • 基于层次结构的图注意力多跳问答

    本研究针对 HotpotQA 基准数据集，提出了两种扩展方式来改进基于 GNN 的 HGN 模型，包括在节点之间引入新的边缘，以及在图传播步骤中，扩展了一种名为 GATH 的嵌套图注意力机制，并且实验证明了这些改变能够有效提升模型的效率和能力。

    Jan, 2023

  • 用于多跳问答的层次图网络

    本文介绍了一种基于分层图网络的多跳问答模型，通过构建不同粒度层次的节点来聚合多个段落中分散的线索，使用预先训练的上下文编码器对节点进行初始化，通过图传播等方式更新节点表示并实现多跳推理，实验结果表明，该方法在 HotpotQA 基准测试中取得了新的最高水平，优于现有的多跳问答方法。

    Nov, 2019

  • 长篇文档的分层问答

    基于强化学习和词向量，提出了一种可以高效处理长篇文档的问答框架，该框架结合了快速筛选相关句子和精读相关句子的策略，并在 Wikireading 的一个挑战性子集和一组新的数据集上实现了最新的性能，同时使模型的速度提高 3.5 倍至 6.7 倍。

    Nov, 2016

  • 视觉问答的互注意融合

    该研究提出了一种新的注意力机制，同时考虑视觉细节的两个层次，即物体实例和它们的部分，通过高效的张量分解方案，设计了分层融合多模态信息的模型并提高了已有模型达到了一个显著的提升。

    May, 2018

  • 带有结构注意力的神经抽象摘要

    本文提出了一种基于结构化注意力的分层编码器，用于建模句内和文档间相互依赖关系，在多文档摘要生成任务中表现出显著的改进，击败了现有的模型。

    Apr, 2020

  • 基于分层图神经网络的组合式问答

    本研究提出了一个包含超过 120k 个人工标注问题的大规模组合式问答数据集，回答在此数据集上的问题需要组合文档中的若干段落来生成最终答案。本文针对该问题提出了一种基于图神经网络的层次预训练模型，并在预训练和机器阅读理解领域中取得了巨大的提升。

    Jan, 2021

  • QANet: 将局部卷积和全局自注意力相结合用于阅读理解

    本文提出一种名为 QANet 的新型机器阅读和问答架构，它没有使用循环神经网络，而是仅由卷积神经网络和自注意力机制组成，可在训练和推理期间实现更快的速度，并在测试集上实现了 84.6 F1 得分，超过了最佳发布 F1 得分 81.8。

    Apr, 2018