CVPRJan, 2021

少样本动作识别的时间关系跨变换器

PDF
TL;DR本文提出了一种新的少样本动作识别方法，利用跨时间关系交换器构建类原型，形成有序帧的视频表示，依靠匹配多个支持集视频和学习高阶关系交换器，取得了 Kinetics、Something-Something V2（SSv2）、HMDB51 和 UCF101 等数据集的最先进结果，尤其在 SSv2 数据集上性能比以前的方法提高了 12％，因为它可以更好地建模时间关系。
发现论文，激发创造
  • 关于少样本动作识别中空间关系的重要性

    通过整合空间关系和时间信息，本文提出了一种新型的少样本动作识别方法 Spatial Alignment Cross Transformer (SA-CT)，并利用预训练模型进一步提升性能。

    Aug, 2023

  • Few-shot 动作识别的时空关系建模

    本文提出了一种新颖的 few-shot 动作识别框架 STRM，该框架通过聚合表示空间和时间上下文并学习高阶时间表示来增强类特定特征的可区分性，并在局部补丁级别和全局帧级别的特征补充子模块中捕获出现的特征，通过在不同阶段加强特征学习，并在四个基准数据集上进行实验，取得了领先的结果。

    Dec, 2021

  • 针对少样本动作识别的任务特定对齐和多层 transformer

    本文提出了一种名为 TSA-MLT 的端到端方法，在多层次特征上使用多层 Transformer 并使用任务特定的 TSA 进行处理，然后使用 L2 和 Optimal transport 距离度量进行融合，并以交叉熵损失进行训练以获得时间和语义方面的对齐，实验结果表明，在 HMDB51 和 UCF101 数据集上获得了最先进的结果，在 Kinetics 和 something-2-something V2 数据集基准测试上也有竞争力。

    Jul, 2023

  • 基于骨架的动作识别中的时空元组变换

    提出了一种新的时空元组 Transformer（STTFormer）方法，该方法着重解决了现有的基于 Transformer 的方法不能捕获帧之间不同关节之间的相关性的问题，在两个大型数据集上的表现优于现有技术方法。

    Jan, 2022

  • 跨模态时变关系学习用于生成动态场景图

    本研究提出了一种 Time-variant Relation-aware TRansformer（TR^2）模型，通过学习提示句子中关系标签的嵌入差异，实现了跨模态特征指导，设计了一个关系特征融合模块与转换器以及描述相邻帧之间差异的额外信息令牌，以有效建模动态场景图中的时变关系，实验证明其在 Action Genome 数据集上的表现优于之前最先进研究方法。

    May, 2023

  • 置换不变注意力的小样本动作识别

    本文提出一种基于 C3D 编码器和置换不变池化的模型，针对视频的少样本动作识别任务，通过性质相似的 原始视频块以及注意力机制，使其适用于不同长度和长期依赖模式的变化，同时在 HMDB51、UCF101 和 miniMIT 数据集上表现良好。

    Jan, 2020

  • 针对零样本动作识别的端到端语义视频变换器

    本文提出了一种新的端到端训练 Transformer 模型的方法，能够高效地捕捉长期时空依赖性，在零样本学习方面获得了最新进展，通过避免训练和测试类之间的重叠，提出了一个新的实验设置方案，该方法在 UCF-101、HMDB-51 和 ActivityNet 数据集上的 top-1 准确性明显优于现有技术的水平。

    Mar, 2022

  • 骨骼少样本动作识别的时空视角传输规划

    提出了一种基于 JEANIE 的 3D 骨骼动作识别少样本学习方法，包括动态时间扭曲、简单光谱图卷积、线性图神经网络骨干和基于相似性的损耗函数，达到了在 NTU-60，NTU-120，运动学 - 骨骼和 UWA3D Multiview Activity II 数据集上的最先进的结果。

    Oct, 2022

  • 重新考虑用于小样本动作识别的时空建模

    本篇论文提出了 SloshNet，一个新的框架，重新审视少样本动作识别中的空间时间建模，并自动搜索低级和高级空间特征的最佳组合，同时利用 transformer 技术对全局和局部的时间关系进行建模，实现了对四种数据集的优秀结果。

    Jan, 2023

  • 基于外观和时间对齐的归纳和转导式小样本视频分类

    提出了一种新的少样本视频分类方法，该方法通过外貌和时间对齐来进行，采用了原型训练和测试，以及归纳和推导原型细化。此方法在 Kinetics 和 Something-Something V2 数据集上进行了广泛实验，并取得了类似或更好的结果。

    Jul, 2022