Jun, 2016

迭代交替神经注意力机制用于机器阅读

PDF
TL;DR我们提出了一种新颖的神经注意力架构，以解决机器理解任务，例如针对文档回答填空式查询的问题。与之前的模型不同，我们不将查询折叠成单个向量，而是使用迭代交替注意机制，允许对查询和文档进行细粒度的探索。我们的模型在标准的机器理解基准测试中，例如 CNN 新闻文章和儿童书籍测试 (CBT) 数据集中，优于最先进的基线。
neural attention architecturemachine comprehension taskscloze-style queriesiterative alternating attention mechanismchildren's book test
发现论文，激发创造
  • 基于注意力机制的阅读理解神经网络

    本文提出了一种名为 Attention-over-Attention Reader 的模型，该模型针对 Cloze-style 阅读理解任务，在文档级别注意力的基础上加入了另一层注意力机制，用以预测正确答案，实验结果表明该模型在 CNN 和 Children's Book Test 等公开数据集上明显优于现有的各种最先进系统。

    Jul, 2016

  • 注意力求和读者网络的文本理解

    该研究提出了一种使用注意力机制直接从文本中选取答案的模型，特别适用于以文本中某个单词为答案的问题，并在多个数据集上取得了新的最优成绩。

    Mar, 2016

  • 基于注意力机制的卷积神经网络用于机器阅读理解

    本篇论文探讨了在 MCTest 数据集上应用基于神经网络的层次化注意力机制的机器理解和问答任务，实验结果表明这种方法大幅度超越之前的深度学习方法。

    Feb, 2016

  • 用于文本理解的门控注意力读者

    本文研究了如何在文档中回答填空题的问题，通过引入多跳结构和基于参考嵌入和递归神经网络的新型注意力机制，我们的 Gated-Attention Reader 模型能够生成查询特定的文档表示来准确地选择答案，并在三个基准数据集上获得最新的结果。

    Jun, 2016

  • 可解释序列分类的迭代递归注意力模型

    介绍了一种迭代递归注意力模型，通过重用以前计算的查询结果来构建输入数据的递增表示，以便在情感分类数据集上训练，并演示其在易于解释的方式下识别和组合输入的不同方面的能力，同时获得接近最先进性能。

    Aug, 2018

  • 增强型记忆阅读器用于机器阅读理解

    本文介绍了加强版的记忆增强读者，它在多个方面包括提出重新注意力机制和引入动态关键强化学习方法来优化精度，实验表明在 Stanford Question Answering Dataset 上，该模型比先前系统表现更优，实现了最新的技术成果。

    May, 2017

  • 用人类视觉注意力解释机器阅读理解中的注意力模型

    通过比较使用不同架构的神经网络在机器阅读理解中的表现，发现与人类视觉注意力较为相似的 LSTM 和 CNN 模型的性能表现显著关联，但与之性能最佳的 XLNet 模型关联性不明显，提示不同架构的神经网络的注意力策略存在差异，且神经注意力与人类注意力相似性并不代表拥有最佳表现。

    Oct, 2020

  • 基于循环注意力模型的神经机器翻译

    通过使用一个循环网络来明确地建模词语先前和随后的注意力水平之间的关系，我们改进了 Bahdanau 等人（2014）的注意力模型，并且我们的参数化注意力模型的实验表明其可以提高翻译质量。

    Jul, 2016

  • 基于共识的注意力神经网络在中文阅读理解中的应用

    本文提出了一种共识注意力神经网络架构，并通过中文阅读理解任务实验，表明该网络架构在解决 Cloze-style 问题上优于现有的其他模型，同时也建立了一个中文阅读理解任务的基准，这将有助于未来的相关研究。

    Jul, 2016

  • 带有结构注意力的神经抽象摘要

    本文提出了一种基于结构化注意力的分层编码器，用于建模句内和文档间相互依赖关系，在多文档摘要生成任务中表现出显著的改进，击败了现有的模型。

    Apr, 2020