Oct, 2023

视频中复杂活动检测的混合图网络

PDF
TL;DR使用混合图神经网络对视频进行复杂活动检测，通过对局部动态场景的图表达应用注意力和对整体长时间活动的时间图表达，提取特征并估计复杂活动类别及其开始和结束时间。在 ActivityNet-1.3、Thumos-14 和 ROAD 三个数据集上，所提出的框架优于所有现有的最先进方法。
video interpretationtemporal action localisationcomplex activity detectiongraph neural networkspatiotemporal tubes
发现论文，激发创造
  • G-TAD: 时间动作检测的子图定位

    本文提出了一种基于图卷积网络的模型来自适应地整合多层次语义上下文到视频特征中，并将时态行为检测作为一个子图定位问题。实验证明，该模型不需额外监督就可以发现有效视频上下文，且在两个检测评测中均达到最优性能。

    Nov, 2019

  • 时空事件图像用于动态场景理解

    该论文介绍了关于动态场景理解的研究，主要涉及自动驾驶、道路事件检测、视频活动检测、持续学习等内容。

    Dec, 2023

  • 时空动作图网络

    提出了一种基于解离图嵌入的物体相互作用图形表示，用于活动识别，该模型通过事实嵌入图结构来解开空间维度与时间变化之间的表示层次结构，并在 Charades 活动识别基准测试以及聚焦于与近碰撞事件的多物体交互的新数据集上进行了验证。

    Dec, 2018

  • 穿越时间：视频活动的有效定位

    本文介绍了一种基于强化学习的视频定位技术，使用文本和视频的精细特征表示来准确定位语言查询中的片段，并仅浏览整个视频的 32-41% 以节约处理时间。

    Apr, 2019

  • 复杂交通场景分类的图卷积网络

    通过建立场景分类方法，可以减少获得自动驾驶系统（ADS）安全性的统计显著证据所需的时间。我们提出了一种能够模拟车辆与环境以及其他交通参与者之间交互的复杂交通场景分类方法，利用图卷积网络来建模这些场景的空间和时间特征，并在覆盖不同驾驶环境并逐帧进行注释的数据集上进行训练，为未来关于逐帧复杂场景分类的研究提供了有前景的基线。

    Oct, 2023

  • 时空动作定位的活动图变换器

    该研究提出了一种基于深度学习的 Activity Graph Transformer 模型，可以对视频进行端到端分析，精确定位和识别视频内的特定事件活动，并通过非线性图推理方法捕获视频内事件之间的复杂时间结构。实验结果显示此方法在三个具有挑战性的数据集上均优于当前领先的方法。

    Jan, 2021

  • 基于动态图模块的对象交互建模在活动识别中的应用

    本文提出了基于动态隐藏图模块的视频动作识别方法，该模块既可以捕捉多对象间的外观 / 运动变化，又能捕捉他们的时空关系，该方法具有处理流式视频数据的能力，并在 Something-Something 和 ActivityNet 数据集上取得了竞争性的性能。

    Dec, 2018

  • 活动识别的时间推理图

    本文提出了一种高效的时间推理图 (TRG), 用于同时捕捉视频序列之间的外观特征和时间关系。通过构建可学习的时间关系图来探索多尺度范围上的时间关系。在多头时间邻接矩阵的帮助下，提出了一个多头时间关系聚合器来提取那些通过图卷积计算的特征的语义含义。实验证明，通过我们的 TRG 进行时间关系推理可以提取用于活动识别的判别特征。

    Aug, 2019

  • 基于动作驱动的视频目标检测的时间动态图 LSTM

    本文研究了一种弱监督目标检测框架，通过使用视频和动作描述作为监督信号，并提出了一种基于时间动态图长短期记忆网络的新方法来解决视频中缺失标签等问题，并在 Charades 数据集上进行了广泛的评估，证明了该方法的优越性。

    Aug, 2017

  • 群体活动识别的深度结构模型

    本文提出了一种基于深度神经网络和分层图模型的个人和群体活动监测方案，使用深度网络识别场景中个人的动作，并通过考虑类别间的依赖关系使用神经网络分层图模型完善每个类别的预测标签，该方法能有效改善基准测试方法的识别率。

    Jun, 2015