ACLJul, 2016

基于注意力机制的阅读理解神经网络

PDF
TL;DR本文提出了一种名为 Attention-over-Attention Reader 的模型，该模型针对 Cloze-style 阅读理解任务，在文档级别注意力的基础上加入了另一层注意力机制，用以预测正确答案，实验结果表明该模型在 CNN 和 Children's Book Test 等公开数据集上明显优于现有的各种最先进系统。
cloze-style queriesneural network approachattention mechanismreading comprehensionstate-of-the-art systems
发现论文，激发创造
  • 迭代交替神经注意力机制用于机器阅读

    我们提出了一种新颖的神经注意力架构，以解决机器理解任务，例如针对文档回答填空式查询的问题。与之前的模型不同，我们不将查询折叠成单个向量，而是使用迭代交替注意机制，允许对查询和文档进行细粒度的探索。我们的模型在标准的机器理解基准测试中，例如 CNN 新闻文章和儿童书籍测试 (CBT) 数据集中，优于最先进的基线。

    Jun, 2016

  • 注意力求和读者网络的文本理解

    该研究提出了一种使用注意力机制直接从文本中选取答案的模型，特别适用于以文本中某个单词为答案的问题，并在多个数据集上取得了新的最优成绩。

    Mar, 2016

  • 基于共识的注意力神经网络在中文阅读理解中的应用

    本文提出了一种共识注意力神经网络架构，并通过中文阅读理解任务实验，表明该网络架构在解决 Cloze-style 问题上优于现有的其他模型，同时也建立了一个中文阅读理解任务的基准，这将有助于未来的相关研究。

    Jul, 2016

  • 用于文本理解的门控注意力读者

    本文研究了如何在文档中回答填空题的问题，通过引入多跳结构和基于参考嵌入和递归神经网络的新型注意力机制，我们的 Gated-Attention Reader 模型能够生成查询特定的文档表示来准确地选择答案，并在三个基准数据集上获得最新的结果。

    Jun, 2016

  • 基于注意力机制的卷积神经网络用于机器阅读理解

    本篇论文探讨了在 MCTest 数据集上应用基于神经网络的层次化注意力机制的机器理解和问答任务，实验结果表明这种方法大幅度超越之前的深度学习方法。

    Feb, 2016

  • 用人类视觉注意力解释机器阅读理解中的注意力模型

    通过比较使用不同架构的神经网络在机器阅读理解中的表现，发现与人类视觉注意力较为相似的 LSTM 和 CNN 模型的性能表现显著关联，但与之性能最佳的 XLNet 模型关联性不明显，提示不同架构的神经网络的注意力策略存在差异，且神经注意力与人类注意力相似性并不代表拥有最佳表现。

    Oct, 2020

  • 阅读理解和问答的多粒度层次注意力融合网络

    本文提出了一种新颖的分层注意力网络，用于阅读理解式问题回答，在问题和段落之间的不同粒度层次上水平和垂直进行注意力和融合。通过具有精细语言嵌入的问题和段落的编码，引入多粒度融合方法来全面融合来自全局和受关注表示的信息。最后，引入分层注意力网络，通过多级软对齐逐步聚焦于答案跨度。广泛的实验在大规模 SQuAD 和 TriviaQA 数据集上验证了所提出方法的有效性，同时在 TriviatQA、AddSent 和 AddOne-Sent 数据集上达到了最先进的结果。

    Nov, 2018

  • 增强型记忆阅读器用于机器阅读理解

    本文介绍了加强版的记忆增强读者，它在多个方面包括提出重新注意力机制和引入动态关键强化学习方法来优化精度，实验表明在 Stanford Question Answering Dataset 上，该模型比先前系统表现更优，实现了最新的技术成果。

    May, 2017

  • 带有结构注意力的神经抽象摘要

    本文提出了一种基于结构化注意力的分层编码器，用于建模句内和文档间相互依赖关系，在多文档摘要生成任务中表现出显著的改进，击败了现有的模型。

    Apr, 2020

  • 基于 “洞穴填充” 的自注意力网络预训练

    本研究提出了一种新的预训练双向 Transformer 模型的方法，通过解决一种词重建任务来提高语言理解问题的性能，实验表明，在 GLUE 和 NER 以及组分分析基准测试上获得了大幅度的性能提高，模型的各种因素对于有效的预训练起到了积极的贡献。

    Mar, 2019