AAAIDec, 2020

利用自监督的时间关系建模进行动作分割

PDF
TL;DR本篇论文提出了一种有效的 GCN 模块 DTGRM，用于捕获和建模视频帧之间的各个时间跨度的时间关系，并通过提出的自监督任务来增强模型的时间推理能力，这种模块在行为分割方面表现优于现有技术。
temporal relational modelinggraph convolution networksaction segmentationtemporal graph reasoningself-supervised learning
发现论文，激发创造
  • 基于骨架的动作识别的时序图建模

    本篇文章介绍了一种称之为 Temporal Enhanced Graph Convolutional Network (TE-GCN) 的新模型，用于构建骨骼动作识别应用中的时间关系图，以提取骨架序列的时间动态。文章对两个广泛使用的大型数据集进行了广泛的实验，在动作识别中取得了最先进的性能，同时通过多头机制进一步探索时间关系图。

    Dec, 2020

  • 视频中时间动作定位的图卷积模块

    本文研究了时空行为定位问题，提出了一种新的图卷积模块（GCM），强调了行为单元之间的关系对于行为定位的重要性，并证明了该模块能够提高现有行为定位方法的性能。

    Dec, 2021

  • 视频动作识别和检索的时间对比图学习

    提出了一种名为 TCGL 的自监督学习方法，通过建立图模型来学习视频的时序表示，利用 “片段内” 和 “片段间” 的时间依赖作为时序表示学习的自监督信号，在大规模行动识别和视频检索基准测试中展示了显著的性能优势。

    Jan, 2021

  • 活动识别的时间推理图

    本文提出了一种高效的时间推理图 (TRG), 用于同时捕捉视频序列之间的外观特征和时间关系。通过构建可学习的时间关系图来探索多尺度范围上的时间关系。在多头时间邻接矩阵的帮助下，提出了一个多头时间关系聚合器来提取那些通过图卷积计算的特征的语义含义。实验证明，通过我们的 TRG 进行时间关系推理可以提取用于活动识别的判别特征。

    Aug, 2019

  • 用于动作分割和检测的时序卷积网络

    介绍了一种新的 Temporal Convolutional Networks 模型，可用于对视频中动作的细粒度分割和检测，具有高效性和良好的表现。

    Nov, 2016

  • 基于动作驱动的视频目标检测的时间动态图 LSTM

    本文研究了一种弱监督目标检测框架，通过使用视频和动作描述作为监督信号，并提出了一种基于时间动态图长短期记忆网络的新方法来解决视频中缺失标签等问题，并在 Charades 数据集上进行了广泛的评估，证明了该方法的优越性。

    Aug, 2017

  • 基于多尺度空间时间图卷积网络的基于骨架的动作识别

    本研究提出了一种多尺度空间图卷积和多尺度时间图卷积模型，通过分解相应的局部图卷积为一系列子图卷积，形成一个分层残差体系结构，使图卷积神经网络能够捕获空间和时间域中的短程和长程依赖关系，从而实现骨骼动作识别，该模型在三个基准数据集上表现出了显著的性能。

    Jun, 2022

  • 时间戳监督下使用图卷积网络进行动作分割

    本文介绍了一种使用时间戳监督进行时间活动分割的新方法，其中引入一个图卷积网络，以端到端的方式学习利用帧特征和相邻帧之间的连接生成密集帧标签的方法。我们还提出了一个交替学习的框架，用于初始化和迭代地完善学习模型。在 50Salads、GTEA、Breakfast、Desktop Assembly 等公共数据集上的详细实验表明，我们的方法优于多层感知器基线，同时在时间活动分割方面表现不输于或优于现有技术。

    Jun, 2022

  • 时序卷积网络：行动分割的统一方法

    提出了一种统一的时间卷积网络方法，可以逐层捕捉低、中、高层次时间尺度上的关系，在三个公共操作分割数据集上以视频或传感器数据实现了优越或竞争性能，并且可以在较短时间内训练完成。

    Aug, 2016

  • MS-TCN：多阶段时间卷积网络用于动作分割

    本研究提出了一种多阶段架构方法来解决视频动作分段问题，使用扩张卷积神经网络来生成初始预测并利用平滑损失进行训练，模型在多个数据集上实现了最新的研究成果。

    Mar, 2019