反思读者:门控多跳注意力推理
本文介绍了双向注意力流 (BIDAF) 网络,它是一个多阶段分层过程,在不进行早期汇总的情况下,用双向注意力流机制表示不同粒度级别的上下文,并获得了查询感知的上下文表示。实验结果表明,该模型在 Stanford Question Answering Dataset (SQuAD) 和 CNN/DailyMail cloze 测试中取得了最先进的结果。
Nov, 2016
本文提出了一种新的多跳问题回答模型架构,通过应用 CGDe 和 FGIn 两种策略,在 SQuAD 和 HotpotQA 数据集上表现出超越 state-of-the-art 基线的性能。
Jan, 2021
本文研究了如何在文档中回答填空题的问题,通过引入多跳结构和基于参考嵌入和递归神经网络的新型注意力机制,我们的 Gated-Attention Reader 模型能够生成查询特定的文档表示来准确地选择答案,并在三个基准数据集上获得最新的结果。
Jun, 2016
该论文介绍了一种新的开放域问答框架,其中检索器和阅读器相互迭代交互,引入了多步推理机制,有助于从长度为百万级的语料库中检索信息性段落,并应用于不同的问答数据集和模型中均取得了一致性的提升。
May, 2019
本文系统分析了多篇文章 QA 任务的多跳推理能力,在提供额外证据段落的情况下,对现有面向多跳阅读的方法进行了改进,并提出了基于匹配的方法,表明进行显示多跳推理可以提高 QA 任务的执行效果,推荐开发更好的推理模型。
Oct, 2019
本文介绍了加强版的记忆增强读者,它在多个方面包括提出重新注意力机制和引入动态关键强化学习方法来优化精度,实验表明在 Stanford Question Answering Dataset 上,该模型比先前系统表现更优,实现了最新的技术成果。
May, 2017
本文介绍了自适应双向注意力(Adaptive Bidirectional Attention)模型用于机器阅读理解(Machine Reading Comprehension)中,通过利用不同层次的源表示来提高预测的精度并且在 SQuAD2.0 公开数据集上的实验表明,相比于之前的最先进模型,此方法的准确度提高了 2.5%EM 和 2.3%F1 分数。
Dec, 2020
我们提出了一种新颖的神经注意力架构,以解决机器理解任务,例如针对文档回答填空式查询的问题。与之前的模型不同,我们不将查询折叠成单个向量,而是使用迭代交替注意机制,允许对查询和文档进行细粒度的探索。我们的模型在标准的机器理解基准测试中,例如 CNN 新闻文章和儿童书籍测试 (CBT) 数据集中,优于最先进的基线。
Jun, 2016
通过使用一个循环网络来明确地建模词语先前和随后的注意力水平之间的关系,我们改进了 Bahdanau 等人(2014)的注意力模型,并且我们的参数化注意力模型的实验表明其可以提高翻译质量。
Jul, 2016
本文提出了一种新型神经模型 - Dynamic Fusion Network (DFN),用于机器阅读理解,并使用动态多策略注意过程进行多个步骤的推理来生成答案,发现 DFNs 可以比其他流行的机器阅读理解模型更有效地生成从问题、段落和候选答案中总结信息的注意力向量,并取得了 RACE 数据集中的最佳结果。
Nov, 2017