CVPRDec, 2021

Few-shot 动作识别的时空关系建模

PDF
TL;DR本文提出了一种新颖的 few-shot 动作识别框架 STRM，该框架通过聚合表示空间和时间上下文并学习高阶时间表示来增强类特定特征的可区分性，并在局部补丁级别和全局帧级别的特征补充子模块中捕获出现的特征，通过在不同阶段加强特征学习，并在四个基准数据集上进行实验，取得了领先的结果。
few-shot action recognitionspatio-temporal enrichment moduleclass-specific feature discriminabilityrelational matchingquery-class similarity classifier
发现论文，激发创造
  • 重新考虑用于小样本动作识别的时空建模

    本篇论文提出了 SloshNet，一个新的框架，重新审视少样本动作识别中的空间时间建模，并自动搜索低级和高级空间特征的最佳组合，同时利用 transformer 技术对全局和局部的时间关系进行建模，实现了对四种数据集的优秀结果。

    Jan, 2023

  • 关于少样本动作识别中空间关系的重要性

    通过整合空间关系和时间信息，本文提出了一种新型的少样本动作识别方法 Spatial Alignment Cross Transformer (SA-CT)，并利用预训练模型进一步提升性能。

    Aug, 2023

  • 少样本动作识别的时间关系跨变换器

    本文提出了一种新的少样本动作识别方法，利用跨时间关系交换器构建类原型，形成有序帧的视频表示，依靠匹配多个支持集视频和学习高阶关系交换器，取得了 Kinetics、Something-Something V2（SSv2）、HMDB51 和 UCF101 等数据集的最先进结果，尤其在 SSv2 数据集上性能比以前的方法提高了 12％，因为它可以更好地建模时间关系。

    Jan, 2021

  • 时空对齐网络用于动作识别

    通过引入视点不变特征表示，研究提高现有动作识别架构；提出了一种轻量级通用的空间 - 时间对齐网络（STAN）用于学习动作识别的几何不变表示；实验证明 STAN 模型在广泛使用的数据集上能够在从头开始训练的模式下持续改进动作识别任务的最先进模型。

    Aug, 2023

  • HyRSM++：混合关系引导的时间集匹配用于少样本动作识别

    HyRSM++ 是一种用于少样本动作识别的混合关系导向时间集匹配方法，能够集成任务内和跨视频相关关系来学习具有区分度的表征，并且能够通过 Bi-MHM 来提升对于不对齐实例的鲁棒性，同时还可处理半监督和无监督少样本动作识别任务。

    Jan, 2023

  • 基于度量的视频动作识别小样本学习

    本研究介绍了针对少样本学习的视频动作识别任务，采用双流模型和三种常见的基于度量的算法，通过一组卷积和递归神经网络视频编码器进行训练和评估，证实了双流设置的重要性，并发现原型网络和池化长短期记忆网络嵌入为少样本方法和视频编码器提供了最佳性能。在 Kinetics 600 数据集上进行的 5-shot、5-way 任务中，该设置在测试集上获得了 84.2% 的准确度，而在混淆度较高的 “挑战” 测试集上获得了 59.4% 的准确度。

    Sep, 2019

  • 学习用于半监督动作识别的判别时空表示

    采用自适应对比学习策略和多尺度时间学习策略，提出一种新型半监督动作识别方法，用于改进少量标记数据下的时空推理能力，取得了比之前先进方法更优越的结果。

    Apr, 2024

  • 置换不变注意力的小样本动作识别

    本文提出一种基于 C3D 编码器和置换不变池化的模型，针对视频的少样本动作识别任务，通过性质相似的 原始视频块以及注意力机制，使其适用于不同长度和长期依赖模式的变化，同时在 HMDB51、UCF101 和 miniMIT 数据集上表现良好。

    Jan, 2020

  • 时空动作定位的关系建模

    本文提出一种用于动作识别的多类型关系建模方法，并采用训练策略将多种关系建模集成到两个大规模视频数据集的端对端训练中去。同时，结合记忆库的学习和面向长尾数据分布的微调方法，以进一步提高性能，最终在 AVA-Kinetics 测试集中实现了 40.67 mAP 的成绩。

    Jun, 2021

  • 交互感知触发的零样本时空动作检测

    本文通过使用预训练的视觉 - 语言模型提取图像和文本特征，以及对这些特征进行建模，最终实现零样本的时空动作检测。实验结果表明，本文的交互模块和提示使得视觉 - 语言特征更好地对齐，从而实现了优秀的检测准确率。

    Apr, 2023