使用视频片段和时间边界，通过空间边界框和时间边界在视频中检测视觉关系三元组，提出了一种层次上下文模型（HCM），通过片段丰富了基于对象的空间上下文和基于关系的时间上下文，表明使用片段与大多数基于视频的方法相比可以取得更好的性能，并且在模型设计方面提供了更大的灵活性，有助于解决与视频片段相关的局限性，如挑战性的长期物体跟踪问题和长期管状特征压缩中的时序信息丢失。在两个具有挑战性的 VidVRD 基准测试中进行了广泛的实验，验证了我们的 HCM 实现了新的最先进性能，突出了在基于片段的范式内结合高级空间和时间上下文建模的有效性。

Jul, 2023

利用混合专家方法的 MoE-VRD 在视觉关系检测中展示了较优的性能，通过条件计算和可伸缩性能显著增强了神经网络容量。

Mar, 2024

本论文提出了一种新的基于深度学习的架构 —— 多模态注意力翻译嵌入模型，该模型使用多模态关注机制驱动每个分支的视觉特征，并在常用的 VRD 数据集上的实验表明，该方法明显优于其他相关方法。

Feb, 2019

本研究提出一种基于对象关系模块的深度学习模型，可以同时处理对象之间的外观特征和几何关系，从而提高了对象识别和重复去除步骤，在 CNN-based detection 中显著地有效，且无需额外 supervision，是第一个完全端到端的物体检测器。

Nov, 2017

本文提出了一种基于视频物体痕迹检测管道 MEGA 和 deepSORT 的轨迹提议方法，应用于 VidVRD 中，其中设计了基于轨迹的视觉 Transformer，包含时间感知解码器，最终预测关系，实验结果表明了其在 Video Relation Understanding 上的优越性。

Aug, 2021

在交通场景中预测人类轨迹对于混合或完全自主系统的安全至关重要。人类未来轨迹由社交互动和随机目标驱动，因此可靠的预测需要捕捉这两个刺激。我们提出了一种基于区域关系学习的模型，通过模拟关联总体态势下人类的区域动态，即人流密度变化，来模拟社交互动。此外，我们还利用条件变分自编码器实现多目标估计和多样化未来预测。通过对潜在分布进行变分推断，该模型在测试数据中可以可靠地捕捉到随机行为。将多目标估计和区域关系学习集成到预测框架中，有效地模拟了社交互动和随机目标这两个刺激。我们在 ETH-UCY 数据集和 Stanford Drone 数据集上评估了我们的框架，结果显示在 ADE/FDE 指标上，相较于现有模型，在 SDD 数据集上我们的模型分别超过了 27.61%/18.20%。

Apr, 2024

本文介绍了一种利用人体姿态提示的多层次关系检测策略，通过深度学习的方法将人体姿态融入到三个语义层面的关系表示中，以解决人体场景中精细化的物体交互识别问题。实验证明本方法在公共基准测试中表现优异。

Sep, 2019

通过使用与类相关的语言和视觉信息，提出了一个统一的模型来预测动作类别之间的关系，实验结果表明：① 预训练的最新神经网络模型对于文本和视频具有很高的预测性能；② 基于动作标签文本的关系预测比基于视频更准确；③ 在某些情况下，通过结合两种模态的预测可以进一步提高预测性能。

Aug, 2023

提出了一种关系感知的导航策略预测框架，通过视觉编码和时空特征识别道路用户之间的相互作用及其与环境的关系，进而预测目标道路用户未来的位置。在公共基准数据集上进行了广泛的评估并获得了比现有方法更高的效果。

May, 2019

本文提出了一种多模态视频分割方法，通过语言引导的特征融合模块和多模态对齐损失函数，将视觉外观、运动信息和语言特征融合，实现了精准的文本视频分割。在 A2D Sentences 和 J-HMDB Sentences 数据集上的实验表明，该方法与现有方法相比具有更好的性能和泛化能力。

Apr, 2022