依赖门控阅读用于填空式问答
本文研究了如何在文档中回答填空题的问题,通过引入多跳结构和基于参考嵌入和递归神经网络的新型注意力机制,我们的 Gated-Attention Reader 模型能够生成查询特定的文档表示来准确地选择答案,并在三个基准数据集上获得最新的结果。
Jun, 2016
论文提出了一种新的深度学习架构,用于解决自然语言推理任务,采用依赖阅读的双向 LSTM 网络(DR-BiLSTM)来模拟前提和假设之间的关系。采用复杂的集成策略将多个模型组合起来,进一步提高了结果。研究表明 DR-BiLSTM 在 Stanford NLI 数据集上获得了最佳单模型和集成模型效果,取得了新的最优成绩。
Feb, 2018
本文提出了一种新的多粒度机器阅读理解框架,利用图注意力网络对文档的不同层次进行建模,以同时学习各个级别的表示,从而提取长答案和短答案并建模其之间的依赖关系,并通过联合训练来显著提高对两种类型答案的准确性。
May, 2020
本文介绍了一种使用循环和卷积模型(gated convolution)将问题映射到其语义表示的方法,以实现在问答论坛中寻找相似问题并重用之前提供的答案。我们的模型相对于标准 IR 基线和各种神经网络模型(包括 CNN,LSTM 和 GRU)表现出显著优势。
Dec, 2015
我们提出了一种新颖的神经注意力架构,以解决机器理解任务,例如针对文档回答填空式查询的问题。与之前的模型不同,我们不将查询折叠成单个向量,而是使用迭代交替注意机制,允许对查询和文档进行细粒度的探索。我们的模型在标准的机器理解基准测试中,例如 CNN 新闻文章和儿童书籍测试 (CBT) 数据集中,优于最先进的基线。
Jun, 2016
本文提出了一种新的神经体系结构,旨在充分利用查询 - 答案记忆体的显式支持,以回答问题。我们的模型能够在单独累积预测答案证据的同时,对给定的查询进行细化和更新。通过该体系结构的松散连接信息通路(模块),我们的模型有效地分离了与查询相关的支持搜索和答案预测。根据阅读理解的最新基准数据集,我们的模型取得了最先进的结果。定性分析表明,模型能够有效地累积来自查询和多次支持检索的加权证据,从而实现了强大的答案预测。
Jul, 2016
本文提出了一种名为 Attention-over-Attention Reader 的模型,该模型针对 Cloze-style 阅读理解任务,在文档级别注意力的基础上加入了另一层注意力机制,用以预测正确答案,实验结果表明该模型在 CNN 和 Children's Book Test 等公开数据集上明显优于现有的各种最先进系统。
Jul, 2016
本文提出了一种新颖的分层注意力网络,用于阅读理解式问题回答,在问题和段落之间的不同粒度层次上水平和垂直进行注意力和融合。通过具有精细语言嵌入的问题和段落的编码,引入多粒度融合方法来全面融合来自全局和受关注表示的信息。最后,引入分层注意力网络,通过多级软对齐逐步聚焦于答案跨度。广泛的实验在大规模 SQuAD 和 TriviaQA 数据集上验证了所提出方法的有效性,同时在 TriviatQA、AddSent 和 AddOne-Sent 数据集上达到了最先进的结果。
Nov, 2018
该论文介绍了一种新的开放域问答框架,其中检索器和阅读器相互迭代交互,引入了多步推理机制,有助于从长度为百万级的语料库中检索信息性段落,并应用于不同的问答数据集和模型中均取得了一致性的提升。
May, 2019