本文研究深度学习模型，结合记忆组件或注意力机制进行问答任务。我们比较了三种模型：神经机器翻译、神经图灵机和记忆网络，用于一个模拟 QA 数据集。研究表明，注意力和记忆的组合有潜力解决某些 QA 问题。其中，本文是首个使用神经机器翻译和神经图灵机解决 QA 任务的研究。

Oct, 2015

该论文探讨了图像和语言理解的问题，提出了一种基于神经网络的空间记忆网络模型，通过注意力机制进行推理，并在两个视觉问答数据集上取得了改进的结果。

Nov, 2015

本文提出一种名为 QANet 的新型机器阅读和问答架构，它没有使用循环神经网络，而是仅由卷积神经网络和自注意力机制组成，可在训练和推理期间实现更快的速度，并在测试集上实现了 84.6 F1 得分，超过了最佳发布 F1 得分 81.8。

Apr, 2018

通过分布式表征学习语义编码，我们提出了一种新方法，用于解决回答句子选择的任务，该方法不需要任何特征工程或专业语言数据，可轻松适用于各种领域和语言，并在 TREC 标准基准数据集上达到了与最先进的性能相当的结果。

Dec, 2014

本文采用记忆增强型神经网络，通过选择性地关注每个训练示例的内部和外部记忆块来预测视觉问题的准确答案。实验结果表明，所提出的算法在两个大规模基准数据集上具有优越的性能及与现有技术的比较。

Jul, 2017

该论文研究了多任务和迁移学习对简单问题回答的影响，提出了一个新的包含 10 万个问题的数据集，并在 Memory Networks 框架下成功训练了系统来回答问题。

Jun, 2015

该研究提出了一种使用注意力机制直接从文本中选取答案的模型，特别适用于以文本中某个单词为答案的问题，并在多个数据集上取得了新的最优成绩。

Mar, 2016

本文提出一种新颖的端到端问题聚焦的多因素注意网络，用于回答提问文本中的问题，通过张量变换实现多因素关注编码，以对散布在多个句子中的信息进行建模，并采用最大化注意聚合机制来对提问文本进行编码，从而实现对问题类型的隐式推断，并在三个大型挑战性问题回答数据集中实现了显著的性能提升。

Jan, 2018

本文探讨了卷积网络、自注意力网络和循环神经网络在神经机器翻译中的表现。研究发现，自注意力网络和卷积网络在语义特征提取方面表现更好，但在长距离依赖性分析中没有超越循环神经网络。

Aug, 2018

本文介绍了一种新的句子级别的答案选择方法，采用预训练语言模型计算输入文本的向量表示，并应用大规模语料库的迁移学习。通过引入潜在聚类方法和从 listwise 到 pointwise 的目标函数，提高了比较 - 聚合模型的性能。实验结果表明，该方法在 WikiQA 和 TREC-QA 数据集上表现优于现有方法，达到了最新的表现水平。

May, 2019