ACLJun, 2016

用于文本理解的门控注意力读者

PDF
TL;DR本文研究了如何在文档中回答填空题的问题，通过引入多跳结构和基于参考嵌入和递归神经网络的新型注意力机制，我们的 Gated-Attention Reader 模型能够生成查询特定的文档表示来准确地选择答案，并在三个基准数据集上获得最新的结果。
cloze-style questionsgated-attention readermulti-hop architectureattention mechanismrecurrent neural network
发现论文，激发创造
  • 依赖门控阅读用于填空式问答

    该论文提出了一种新的深度学习架构，名为 DGR 网络，用于解决 cloze-style 问题回答任务，具有高竞争性能，并通过去除注意力机制研究和分析来验证模型。

    May, 2018

  • 基于注意力机制的阅读理解神经网络

    本文提出了一种名为 Attention-over-Attention Reader 的模型，该模型针对 Cloze-style 阅读理解任务，在文档级别注意力的基础上加入了另一层注意力机制，用以预测正确答案，实验结果表明该模型在 CNN 和 Children's Book Test 等公开数据集上明显优于现有的各种最先进系统。

    Jul, 2016

  • 迭代交替神经注意力机制用于机器阅读

    我们提出了一种新颖的神经注意力架构，以解决机器理解任务，例如针对文档回答填空式查询的问题。与之前的模型不同，我们不将查询折叠成单个向量，而是使用迭代交替注意机制，允许对查询和文档进行细粒度的探索。我们的模型在标准的机器理解基准测试中，例如 CNN 新闻文章和儿童书籍测试 (CBT) 数据集中，优于最先进的基线。

    Jun, 2016

  • 注意力求和读者网络的文本理解

    该研究提出了一种使用注意力机制直接从文本中选取答案的模型，特别适用于以文本中某个单词为答案的问题，并在多个数据集上取得了新的最优成绩。

    Mar, 2016

  • 反思读者：门控多跳注意力推理

    提出了一种基于 BiDAF 模型的 Ruminating Reader，通过增加多层注意力机制和信息融合组件来解决单次模型无法反思和纠正答案的问题。实验结果表明该模型在 SQuAD 数据集上显著优于基线模型，且超过了所有其他已发表的系统的性能。

    Apr, 2017

  • 增强型记忆阅读器用于机器阅读理解

    本文介绍了加强版的记忆增强读者，它在多个方面包括提出重新注意力机制和引入动态关键强化学习方法来优化精度，实验表明在 Stanford Question Answering Dataset 上，该模型比先前系统表现更优，实现了最新的技术成果。

    May, 2017

  • 基于图注意力网络的文档建模用于多粒度机器阅读理解

    本文提出了一种新的多粒度机器阅读理解框架，利用图注意力网络对文档的不同层次进行建模，以同时学习各个级别的表示，从而提取长答案和短答案并建模其之间的依赖关系，并通过联合训练来显著提高对两种类型答案的准确性。

    May, 2020

  • 阅读理解和问答的多粒度层次注意力融合网络

    本文提出了一种新颖的分层注意力网络，用于阅读理解式问题回答，在问题和段落之间的不同粒度层次上水平和垂直进行注意力和融合。通过具有精细语言嵌入的问题和段落的编码，引入多粒度融合方法来全面融合来自全局和受关注表示的信息。最后，引入分层注意力网络，通过多级软对齐逐步聚焦于答案跨度。广泛的实验在大规模 SQuAD 和 TriviaQA 数据集上验证了所提出方法的有效性，同时在 TriviatQA、AddSent 和 AddOne-Sent 数据集上达到了最先进的结果。

    Nov, 2018

  • 可扩展开放领域问答的多步检索器和阅读器交互

    该论文介绍了一种新的开放域问答框架，其中检索器和阅读器相互迭代交互，引入了多步推理机制，有助于从长度为百万级的语料库中检索信息性段落，并应用于不同的问答数据集和模型中均取得了一致性的提升。

    May, 2019

  • 门控自注意力记忆网络用于答案选择

    这篇论文提出了一个新的门控自注意力记忆网络方法，结合大规模在线语料库的简单迁移学习技术，在 TrecQA 和 WikiQA 两个标准答案选择数据集上取得了新的最先进结果。

    Sep, 2019