本文介绍新的关系推理模型 RelNet，它是一种记忆增强的神经网络，用于建立实体和关系之间的抽象知识图，并可用于回答文档相关问题。该模型在训练时只需要正确答案的监督，并在 20 个 bAbI 问答任务中进行了测试，每个任务包含 10k 个样例，发现平均错误率仅为 0.3％，其中 11 个任务错误率为 0％。

Jun, 2017

本论文致力于将符号逻辑推理的多步骤推理与神经网络的概括功能相结合。在文本和大型知识库中对实体和关系进行复杂推理。提出了三种重要的建模方法：（1）学习联合推理关系（2）使用神经注意力建模多个路径（3）学习在单个 RNN 中共享强度，使用我们的方法在实验任务中实现了 25％的错误率降低，推理中的错误率降低了 84％。

Jul, 2016

本文介绍了一种具有循环注意力模型的神经网络，该模型可以扩展到可能很大的外部存储器，并被应用于各种任务，如（合成）问答和语言建模。同时，本文展示了多个计算步骤（跳数）的关键概念可以提高性能表现。

Mar, 2015

该研究提出了一种名为 EntityNLM 的新型语言模型，可显式建模实体，动态更新其表示，并在特定的上下文中生成其提及。该模型在语言建模、指代消解和实体预测等多个不同任务中表现出色。

Aug, 2017

本文提出了一种新的架构，用于存储和访问实体提及，在进行在线文本处理过程中，通过将记忆操作编码为可微分的门，可以通过使用监督语音解析目标以及辅助语言模型目标来对模型进行端对端的培训，并通过代词 - 名称照应的数据集评估，证明了在完全增量文本处理中具有强大的性能。

Feb, 2019

本篇论文提出了一种使用循环事件网络的方法，针对具有时间戳的知识图谱中的推理问题，通过对已知事实的模型化预测未来事件，通过对未来时间戳上的链接预测实现多步推理。

Apr, 2019

研究了基于记忆的神经网络在处理具有复杂关系的任务时的能力，提出了一种新的内存模块 RMC，它使用多头点积注意力机制来加强记忆之间的交互，达到了在多个领域的最先进结果。

Jun, 2018

本文介绍基于双向 LSTM 和条件随机场，以及基于转移的方法的两种新的神经网络模型，这些模型不依赖于领域特定的知识和语言。通过使用监督语料库和未标注语料库，字符表示和无监督的学习表示，这些模型在四种语言中实现了名词实体识别的最先进性能。

Mar, 2016

本文提出了一种神经再排序系统，用于命名实体识别，利用递归神经网络模型来学习涉及命名实体提及的句子级模式，使用 LSTM 和 CNN 结构来学习这些句子的深层表示以进行再排序。实验结果表明，我们的系统可以显著提高命名实体识别准确率，超过了两个不同的基线，并在标准基准测试中报告了最好的结果。

Jul, 2017

本文介绍了一种广义的循环关系网络，它可以增强任何神经网络模型的能力，以进行多步关系推理，通过将物体表示为图形，解决需要关系推理链的任务，例如回答有关物体之间关系的复杂问题或解决需要相互约束的解决方案的难题，并在 bAbI 文本问答数据集和数独难题的求解中实现了最优结果。

Nov, 2017