注意力求和读者网络的文本理解
本文提出了一种名为 Attention-over-Attention Reader 的模型,该模型针对 Cloze-style 阅读理解任务,在文档级别注意力的基础上加入了另一层注意力机制,用以预测正确答案,实验结果表明该模型在 CNN 和 Children's Book Test 等公开数据集上明显优于现有的各种最先进系统。
Jul, 2016
该研究利用神经注意力机制提高机器阅读理解和问答的准确性,分析和比较多种神经网络模型,将其组成集成模型并在 SQUAD 数据集上测试,结果表明集成模型优于最佳模型 Mnemonic Reader。
Aug, 2019
我们提出了一种新颖的神经注意力架构,以解决机器理解任务,例如针对文档回答填空式查询的问题。与之前的模型不同,我们不将查询折叠成单个向量,而是使用迭代交替注意机制,允许对查询和文档进行细粒度的探索。我们的模型在标准的机器理解基准测试中,例如 CNN 新闻文章和儿童书籍测试 (CBT) 数据集中,优于最先进的基线。
Jun, 2016
本篇论文探讨了在 MCTest 数据集上应用基于神经网络的层次化注意力机制的机器理解和问答任务,实验结果表明这种方法大幅度超越之前的深度学习方法。
Feb, 2016
本文提出了一种共识注意力神经网络架构,并通过中文阅读理解任务实验,表明该网络架构在解决 Cloze-style 问题上优于现有的其他模型,同时也建立了一个中文阅读理解任务的基准,这将有助于未来的相关研究。
Jul, 2016
提出了一种基于编码器 - 解码器和 RNN 的自注意力神经网络模型,通过组合监督和强化学习来训练和生成连贯性和可读性更强的长文摘要,与目前最先进模型相比,在 CNN / Daily Mail 数据集上取得了 41.16 的 ROUGE-1 得分,并且人工评估表明我们的模型产生了更高质量的摘要。
May, 2017
该研究开发了一种基于上下文依赖词级别注重和问题引导的句子级别注意力的新型模型,以更准确地理解文本,加强上下文建模,可以在交互式问答场景中处理不完整或模糊信息,大大提升了传统 QA 模型的表现。
Dec, 2016
本文提出了一种名为 SDNet 的上下文注意力深度神经网络模型,通过整合上下文理解对话场景并从文本中提取信息,同时引入最新的 BERT 模型,提高了对话问答的精度,表现优于之前的最佳模型并创造了最好的 CoQA 排行榜结果。
Dec, 2018
该论文提出了一种新颖的双向神经序列转换模型,能够同时学习阅读理解中的三种知识输入方式,即问题、答案和上下文,并通过分层注意力过程对不同形态之间的交互信息进行捕捉和建模。该模型在四个公开数据集上的表现优于其他同类神经网络模型,尤其在问题回答和生成双方面具有更广泛的应用前景。
Sep, 2018
本篇论文提出了一种新方法,通过大规模监督学习从而提供阅读理解的数据集,开发了一类基于注意力机制的深度神经网络,使其能够在没有先前语言结构知识的情况下阅读真实文档并回答复杂问题。
Jun, 2015