Jan, 2021

视频动作识别和检索的时间对比图学习

PDF
TL;DR提出了一种名为 TCGL 的自监督学习方法，通过建立图模型来学习视频的时序表示，利用 “片段内” 和 “片段间” 的时间依赖作为时序表示学习的自监督信号，在大规模行动识别和视频检索基准测试中展示了显著的性能优势。
self-supervised learningtemporal representationgraph learningaction recognitionvideo retrieval
发现论文，激发创造
  • 自适应增强对比的时态图表示学习

    提出了一种新颖的 Temporal Graph representation learning with Adaptive augmentation Contrastive (TGAC) 模型，该模型通过将先验知识与时间信息相结合，对时态图进行自适应增强，并通过定义增强之间的相互视角对比和内部视角对比来构建对比目标函数，以减少网络中的噪声。广泛的实验证明，该模型优于其他时态图表示学习方法。

    Nov, 2023

  • TCLR: 视频表征的时序对比学习

    本研究提出了一种新的时间对比学习框架，采用两个新的损失函数以提高现有自监督视频表示学习方法的性能，其中局部 - 局部时间对比损失和全局 - 局部时间对比损失实现了在各种下游视频理解任务中的显着改进。

    Jan, 2021

  • 利用自监督的时间关系建模进行动作分割

    本篇论文提出了一种有效的 GCN 模块 DTGRM，用于捕获和建模视频帧之间的各个时间跨度的时间关系，并通过提出的自监督任务来增强模型的时间推理能力，这种模块在行为分割方面表现优于现有技术。

    Dec, 2020

  • 基于时间序列预测的时序图结构学习

    本研究提出了一种基于序列预测的 TGSL 方法来更好地学习下游任务的图结构，通过添加潜在的时间边、使用 Gumble-Top-K 来选择最接近上下文嵌入的候选边，以及提出若干候选采样策略，同时端到端联合学习图结构和 TGNs，实验结果表明 TGSL 可以显著提高 TGAT、GraphMixer 等热门 TGNs 的性能，且在时间图上优于其他对比学习方法。

    Jun, 2023

  • 基于骨架的动作识别的时序图建模

    本篇文章介绍了一种称之为 Temporal Enhanced Graph Convolutional Network (TE-GCN) 的新模型，用于构建骨骼动作识别应用中的时间关系图，以提取骨架序列的时间动态。文章对两个广泛使用的大型数据集进行了广泛的实验，在动作识别中取得了最先进的性能，同时通过多头机制进一步探索时间关系图。

    Dec, 2020

  • 视频中时间动作定位的图卷积模块

    本文研究了时空行为定位问题，提出了一种新的图卷积模块（GCM），强调了行为单元之间的关系对于行为定位的重要性，并证明了该模块能够提高现有行为定位方法的性能。

    Dec, 2021

  • 基于图像对比学习的基于骨架的动作识别

    本文提出了一个骨架动作识别的图形对比学习框架（SkeletonGCL）来探究跨所有序列的全局上下文，在多个上下文尺度上进行图对比学习，从而建立了一个新的训练范式，并可以无缝地融合到当前 GCNs 中，在 NTU60，NTU120 和 NW-UCLA 基准上获得了一致的改进。

    Jan, 2023

  • TCL: 基于 Transformer 动态图对比学习建模

    本文介绍了一种新颖的图神经网络方法，基于图转换器，引入了两个流编码器，另外通过对比学习来使动态表示具有高级别 (或全局) 语义，提高了交互预测的准确性。

    May, 2021

  • 利用时间语境进行视频动作识别

    TC-CLIP 是一种改进的视觉语言模型，通过引入时间上下文信息和制造上下文令牌来实现视频理解和行为识别的效果提升。

    Apr, 2024

  • 活动识别的时间推理图

    本文提出了一种高效的时间推理图 (TRG), 用于同时捕捉视频序列之间的外观特征和时间关系。通过构建可学习的时间关系图来探索多尺度范围上的时间关系。在多头时间邻接矩阵的帮助下，提出了一个多头时间关系聚合器来提取那些通过图卷积计算的特征的语义含义。实验证明，通过我们的 TRG 进行时间关系推理可以提取用于活动识别的判别特征。

    Aug, 2019