该论文提出了一种新颖的 transformer 模型，用于场景图生成和关系预测，利用编码器 - 解码器架构和节点和边的丰富特征嵌入，通过自我注意力和交叉注意力模拟节点之间和边与节点之间的交互，并引入适用于处理解码器中的边的新的位置嵌入。

Apr, 2020

本研究提出了一种新颖的基于注意力机制的关系网络，其包含两个关键模块和一个目标检测主干以实现场景图自动生成，并在 Visual Genome 数据集上进行了实验验证其有效性和优越性。

Nov, 2018

本研究提出一种基于对象关系模块的深度学习模型，可以同时处理对象之间的外观特征和几何关系，从而提高了对象识别和重复去除步骤，在 CNN-based detection 中显著地有效，且无需额外 supervision，是第一个完全端到端的物体检测器。

Nov, 2017

本研究使用关系网络（RNs）作为简单的即插即用模块来解决需要基于关系推理的问题，并在三个任务中测试了 RN 增强网络，在使用挑战性数据集 CLEVR 进行视觉问答时，取得了超越人类的最好表现；使用 bAbI 套件的任务进行基于文本的问答；以及关于动态物理系统进行复杂的推理。使用一个精选的数据集 Sort-of-CLEVR，表明强大的卷积网络不具备解决关系问题的一般能力，但可以在增加 RN 的情况下获得这种能力。我们的工作展示了如何利用配备 RN 模块的深度学习架构隐式地发现并学习实体及其关系。

Jun, 2017

通过深度神经网络和知识嵌入式路由网络，结合统计相关性和语义关系之间的知识图谱，实现了场景图的生成和推理，实验证明该方法优于现有技术，解决了因为世界关系分布不均衡导致的场景图推导的难题。

Mar, 2019

本文提出了一种改进场景图生成的方法，通过显式建模整个对象实例的相互依赖关系，设计了一种简单而有效的关系嵌入模块，使我们的模型能够联合表示所有相关对象之间的连接，而不是只关注单个对象。在基本 Faster R-CNN 的基础上使用它，我们的模型在 Visual Genome 基准测试上取得了最先进的结果。通过引入全局上下文编码模块和几何布局编码模块，我们进一步提高了性能。在广泛的消融研究中，我们验证了我们的最终模型 LinkNet 在场景图生成方面的效果。

Nov, 2018

本文提出了一种基于能量的模型，通过正交分解的方式，实现了对场景中各个物体之间关系的描述和生成，并改进了对场景结构的理解方法。

Nov, 2021

本文介绍了交互网络模型，它能够推断复杂系统中物体之间相互作用的方式，支持对系统动态预测，以及对系统抽象属性的推理。该模型使用深度神经网络进行对象和关系居中的推理，并可以推理多种具有挑战性的物理领域。 报告结果表明，它能够训练准确地模拟数十个对象在数千个时间步骤上的物理轨迹，估计能量等抽象量，自动推广到具有不同数量和配置的对象和关系的系统中。 该交互网络的实现是第一个通用的，可学习的物理引擎，是处理各种复杂真实世界领域中物体和关系的强大的通用框架。

Dec, 2016

本文提出了一种基于注意力机制的体系结构，以从输入域的流实体确定关系，通过仅需要部分原始 Relational Network 模块的模型参数，从而实现了等效性能和更高的可解释性。

Sep, 2019

提出了一种连续三维结构感知场景表征模型 Scene Representation Networks (SRNs)，能够通过不需要深度或形状信息的二维图像及其相机姿态进行端到端训练， 并在视角合成、少样本重建、形状外插及表现插值等任务中展示出潜力。

Jun, 2019