本文介绍了一种利用结构化知识实现可微分端到端检测和识别图像和视频中的人 - 物交互的算法 —— 图解析神经网络（GPNN）。结果表明，在三个 HOI 检测基准测试上，我们的方法明显优于现有的最新方法，证明 GPNN 可以应用于大型数据集和时空设置，并可覆盖图解析和逐步计算相邻矩阵和节点标签。

Aug, 2018

提出了一种基于解离图嵌入的物体相互作用图形表示，用于活动识别，该模型通过事实嵌入图结构来解开空间维度与时间变化之间的表示层次结构，并在 Charades 活动识别基准测试以及聚焦于与近碰撞事件的多物体交互的新数据集上进行了验证。

Dec, 2018

通过双图注意力网络，可以动态地从主要的人 - 物关系和附属关系中聚合环境视觉、空间和语义信息以实现强大的消岐能力。

Jan, 2020

该研究提出了一种新型的时空图神经网络（STG-Net）方法，它通过利用所有 Object Proposals 并捕捉它们之间的关联来更精确地重建视频对象分割的遮罩，并通过滑动窗口方法以及记忆模型来捕捉时态相关信息。该方法在四个大型数据集上实现了最新的表现，并展示了其有效性。

Dec, 2020

本文提出了基于图卷积的框架，通过构建场景图并在场景内计算对象之间的空时关系，从两个不同角度进行了预测行人是否穿过街道的实验，并提供了一种用于自主驾驶系统在高密度行人区进行行人意图预测的新数据集，实验结果表明我们的方法能够以精度高于现有方法的 79.1％（STIP 数据集）和 79.28％（JAAD 数据集）的准确度预测行人的意图。

Feb, 2020

本文提出一种基于时空图模型的视频字幕生成算法，利用物体间相互作用关系提供显式的视觉表征，通过一种对象感知的知识蒸馏机制，可以在不稳定的性能中实现对象的稳定预测。经过对两个基准测试的广泛实验，展示了我们方法的有效性和可解释性预测的竞争性能。

Mar, 2020

本文提出了一种使用图神经网络检测图像中人与物体之间交互作用的方法，并通过在节点对之间的空间关系上进行消息调节来改进模型的性能，以获得更好的检测精度。实验结果表明，该方法取得了良好的检测效果。

Dec, 2020

本文提出了基于动态隐藏图模块的视频动作识别方法，该模块既可以捕捉多对象间的外观 / 运动变化，又能捕捉他们的时空关系，该方法具有处理流式视频数据的能力，并在 Something-Something 和 ActivityNet 数据集上取得了竞争性的性能。

Dec, 2018

Visual-Spatial-Graph Network (VSGNet) architecture effectively learns and utilizes object interactions in Human-Object Interaction (HOI) detection, demonstrating improved performance compared to state-of-the-art solutions in Verbs in COCO (V-COCO) and HICO-DET datasets.

Mar, 2020

为了准确预测人群中行人的轨迹，需一直考虑其与其他行人的社会 - 时间相互作用。我们提出了一种完整的、明确的捕捉并分析该信息的表示方法，即基于有向无环图的社会 - 时间图（STG）。利用 STGformer 模型，我们实现了端到端的流程，学习 STG 的结构用于轨迹预测，并在两个大规模基准数据集上取得了最先进的预测精度。统计数据表明，利用这种信息明确进行预测相对于仅使用轨迹的方法能够明显提高性能。

Dec, 2023