本论文致力于将符号逻辑推理的多步骤推理与神经网络的概括功能相结合。在文本和大型知识库中对实体和关系进行复杂推理。提出了三种重要的建模方法：（1）学习联合推理关系（2）使用神经注意力建模多个路径（3）学习在单个RNN中共享强度，使用我们的方法在实验任务中实现了25％的错误率降低，推理中的错误率降低了84％。

Jul, 2016

本研究使用关系网络（RNs）作为简单的即插即用模块来解决需要基于关系推理的问题，并在三个任务中测试了RN增强网络，在使用挑战性数据集CLEVR进行视觉问答时，取得了超越人类的最好表现；使用bAbI套件的任务进行基于文本的问答；以及关于动态物理系统进行复杂的推理。使用一个精选的数据集Sort-of-CLEVR，表明强大的卷积网络不具备解决关系问题的一般能力，但可以在增加RN的情况下获得这种能力。我们的工作展示了如何利用配备RN模块的深度学习架构隐式地发现并学习实体及其关系。

Jun, 2017

本文介绍了一种新的Relational neural networks 模型，通过在关系逻辑回归中加入隐藏层，从而同时考虑了物体和关系，使用遍历学习算法进行模型训练，并证明了 RelNNs 是一种有效的关系学习模型。

Dec, 2017

使用 MLP 组件在 Memory Network 架构中寻找相关信息的新方法，以及在多个问题回答任务中的最新技术结果。

Jan, 2018

介绍一种新的神经网络结构——工作记忆网络，该网络在保持关系推理能力的同时将计算复杂度从二次降至线性，并在文本和视觉问题应用中取得了显著结果。

May, 2018

研究了基于记忆的神经网络在处理具有复杂关系的任务时的能力，提出了一种新的内存模块RMC，它使用多头点积注意力机制来加强记忆之间的交互，达到了在多个领域的最先进结果。

Jun, 2018

本研究提出了一种新的基准数据集和一种神经消息传递模型，该模型结合了关系归纳偏差，与传统循环神经网络方法相比，在联络推理和组合泛化方面性能优越。

Nov, 2018

本文提出了一种基于场景上下文化表征的图网络模型，通过文本输入的迭代信息传递来构建物体的语境化表达，以支持关系推理，实验结果表明该方法有效地提高了多项任务和数据集的表现。

May, 2019

本文研究了深度神经网络的层次结构特征，发现递归神经网络与前馈网络在提取特征和处理深层次信息方面表现出类似的表现和性能优越，且递归模型能够模拟前馈模型的行为并使用更少的参数来实现图像分类和迷宫问题的求解。

Feb, 2021

本文讨论了深度神经网络在视觉模式识别方面的强大能力，但在推理任务中仍然表现不足，引入了使用循环神经网络解决问题的算法，并通过前缀和计算，迷宫和棋类游戏等问题进行了实验研究。

Jun, 2021