本文介绍了一种基于视觉交互网络的模型，能够从原始视觉观察数据中学习物理系统的动力学，在复杂的物理环境中支持基于模型的决策制定和规划。该模型由基于卷积神经网络的感知前端和基于交互网络的动力学预测器组成，支持从少量视频帧生成准确的未来轨迹预测。

Jun, 2017

介绍了一种基于图网络的学习模型，实现了对象和关系为中心的表示的归纳偏差，从而能够更准确地预测复杂动态系统的行为，并支持在线与离线规划。

Jun, 2018

利用自监督神经网络模型从观察到的轨迹数据中恢复相互作用网络并预测个体动力学的研究，应用于耦合粒子和耦合振荡器（Kuramoto）的两个动力系统。

Oct, 2023

本文引入的关系网络（RNs）- 一种通用的神经网络架构，可用于从场景描述数据中学习对象关系，并从变分自编码器提供的场景图像的分布式深度表示中分离出错综场景描述输入的对象。

Feb, 2017

本文介绍了一种名为神经关系推断（NRI）模型的非监督学习算法，该模型可以在学习动态过程的同时推断系统组成部分之间的相互作用，通过真实场景的一系列实验表明该模型可以准确地预测从运动捕捉和运动追踪数据中推断出的社交网络组成部分之间的关系和运动的复杂动态。

Feb, 2018

我们提出了交互关系网络（Interaction Relational Network），它是一种简单而强大的架构，利用了关于人体结构的最少先验知识，通过定义不同的关系和重要的有结构的成对运算来更好地表示交互，并使用 LSTM 来进行关系推论，实现了与先前最先进的方法相似的结果。

Oct, 2019

本文提出一种无监督的学习方法，利用先验知识模拟人类感知的组成性质，从视觉图像中发现对象并建模它们之间的物理交互，具有优秀的计算效率和建模能力，能够处理遮挡和推广到不同数量的对象场景。

Feb, 2018

本文介绍了一种利用人体姿态提示的多层次关系检测策略，通过深度学习的方法将人体姿态融入到三个语义层面的关系表示中，以解决人体场景中精细化的物体交互识别问题。实验证明本方法在公共基准测试中表现优异。

Sep, 2019

本研究使用关系网络（RNs）作为简单的即插即用模块来解决需要基于关系推理的问题，并在三个任务中测试了 RN 增强网络，在使用挑战性数据集 CLEVR 进行视觉问答时，取得了超越人类的最好表现；使用 bAbI 套件的任务进行基于文本的问答；以及关于动态物理系统进行复杂的推理。使用一个精选的数据集 Sort-of-CLEVR，表明强大的卷积网络不具备解决关系问题的一般能力，但可以在增加 RN 的情况下获得这种能力。我们的工作展示了如何利用配备 RN 模块的深度学习架构隐式地发现并学习实体及其关系。

Jun, 2017

本论文提出了一项基于视觉任务的评估基准，以测试人工系统对于宏观物体、运动、力等物理理解的程度，同时介绍了两个旨在以无监督的方式学习直观物理的深度神经网络系统，并通过与人类数据的比较，对下一帧预测建筑的潜力和限制进行了新颖的结果分析。

Mar, 2018