Dec, 2018

基于动态图模块的对象交互建模在活动识别中的应用

PDF
TL;DR本文提出了基于动态隐藏图模块的视频动作识别方法，该模块既可以捕捉多对象间的外观 / 运动变化，又能捕捉他们的时空关系，该方法具有处理流式视频数据的能力，并在 Something-Something 和 ActivityNet 数据集上取得了竞争性的性能。
发现论文，激发创造
  • 时空动作图网络

    提出了一种基于解离图嵌入的物体相互作用图形表示，用于活动识别，该模型通过事实嵌入图结构来解开空间维度与时间变化之间的表示层次结构，并在 Charades 活动识别基准测试以及聚焦于与近碰撞事件的多物体交互的新数据集上进行了验证。

    Dec, 2018

  • 基于动作驱动的视频目标检测的时间动态图 LSTM

    本文研究了一种弱监督目标检测框架，通过使用视频和动作描述作为监督信号，并提出了一种基于时间动态图长短期记忆网络的新方法来解决视频中缺失标签等问题，并在 Charades 数据集上进行了广泛的评估，证明了该方法的优越性。

    Aug, 2017

  • 用于视频理解的统一图结构模型

    本文提出了一种基于信息传递的图神经网络，能够精确理解视频中行为者、对象和环境之间的关系，在显式表示对象时能够使用显式表示，否则使用隐含表示；在 AVA 和 UCF101-24 的时空行为检测以及最近的 Action Genome 数据集上的视频场景图分类等任务中，实现了最先进的结果，我们定量和定性的显示了我们的方法如何更有效地模拟场景中相关实体之间的关系。

    Mar, 2021

  • 视频作为时空区域图

    本文提出了利用时空区域图来捕捉人类行为识别的两个重要线索、以及通过图卷积网络来推理这种表示方法的模型，取得了 Charades and Something-Something 数据集上的最优结果

    Jun, 2018

  • 基于视觉符号图的视频理解表示学习

    本文提出了一种基于两个图的模型，其中节点对应于演员和物体，边编码不同类型的交互，通过图神经网络在结果混合图上优化演员、物体及其交互的表示，该方法在 Charades 数据集上实现了最先进的效果，用于解决有关视频理解的挑战性任务，如时间动作定位。

    May, 2019

  • 视频中时间动作定位的图卷积模块

    本文研究了时空行为定位问题，提出了一种新的图卷积模块（GCM），强调了行为单元之间的关系对于行为定位的重要性，并证明了该模块能够提高现有行为定位方法的性能。

    Dec, 2021

  • 参与和交互：视频理解的高阶物体交互

    本文提出了一种有效学习任意子对象之间的高阶相互作用的方法，用以改善细粒度视频理解的准确性，包括动作识别和视频字幕生成等领域，在两个大规模数据集 Kinetics 和 ActivityNet Captions 上取得了最先进的性能。

    Nov, 2017

  • 基于动态组合和交互的团体活动识别

    通过提出 DynamicFormer 模型以及 Dynamic composition Module 和 Dynamic interaction Module 来建模人员关系和物体交互，并利用 GCN 和 Multi-level Dynamic Integration 等方法进行了实验验证，该模型在小组活动识别任务中取得了最先进的结果。

    May, 2023

  • GraphRelate3D：上下文相关的基于关系图的三维物体检测

    通过引入对象关系模块和图神经网络（GNN），从周围建议中提取空间信息并改进 3D 对象检测，该方法在 KITTI 数据集上相较基准方法 PV-RCNN 在简单、中等和困难难度级别的汽车类上分别提升了 0.82%、0.74% 和 0.58%，在中等和困难难度级别的 BEV AP 上优于基准方法超过 1%。

    May, 2024

  • 视频问答的位置感知图卷积网络

    本文提出了一种基于图卷积和位置感知的方法，通过将视频内容表示为具有位置信息的图形式来更好地回答视频问答问题。该方法结合了对象物体交互的位置和关系，提取动作的类别和时间位置。在 TGIF-QA、Youtube2Text-QA 和 MSVD-QA 数据集上得出的实验表明该方法优于现有的方法。

    Aug, 2020