MMJul, 2022

针对少样本动作识别的任务自适应时空视频采样器

PDF
TL;DR本文提出了一种针对 Few-Shot 行为识别的视频帧采样器，采用了时间选择器和空间放大器来实现任务特定的时空帧采样，并采用任务自适应学习来动态调整采样策略。实验结果表明，该采样器在各个基准测试上都具有显著的性能提升。
few-shot action recognitionfeature level algorithmsvideo frame samplerspatial-temporal samplingtask-adaptive learning
发现论文，激发创造
  • SCSampler：用于高效行为识别的视频显著片段采样

    本文介绍了一种轻量级的 “剪辑采样” 模型，可在长视频中高效识别最显著的时间片段，将行动识别的计算成本显著降低，同时提高识别准确性。

    Apr, 2019

  • 关于少样本动作识别中空间关系的重要性

    通过整合空间关系和时间信息，本文提出了一种新型的少样本动作识别方法 Spatial Alignment Cross Transformer (SA-CT)，并利用预训练模型进一步提升性能。

    Aug, 2023

  • 可解释的时空注意力视频动作识别

    通过引入可解释的时空注意力机制来提高视频动作识别的准确性和模型解释性，并使用一组正则化器对其进行约束。利用弱监督的方式仅使用分类标签，模型不仅提高了准确性，还能时空自动定位区分性区域。

    Oct, 2018

  • 重新考虑用于小样本动作识别的时空建模

    本篇论文提出了 SloshNet，一个新的框架，重新审视少样本动作识别中的空间时间建模，并自动搜索低级和高级空间特征的最佳组合，同时利用 transformer 技术对全局和局部的时间关系进行建模，实现了对四种数据集的优秀结果。

    Jan, 2023

  • Few-shot 动作识别的时空关系建模

    本文提出了一种新颖的 few-shot 动作识别框架 STRM，该框架通过聚合表示空间和时间上下文并学习高阶时间表示来增强类特定特征的可区分性，并在局部补丁级别和全局帧级别的特征补充子模块中捕获出现的特征，通过在不同阶段加强特征学习，并在四个基准数据集上进行实验，取得了领先的结果。

    Dec, 2021

  • 动作识别的视频测试时间适应

    该研究提出了一种针对空间 - 时间模型的方法，它能够在单个视频样本上进行特征分布对齐，保证了预测的一致性，并且在三个基准行动识别数据集上都表现出极高的性能。

    Nov, 2022

  • 面向少样本动作识别的语义感知视频表示

    我们提出了一种简单而有效的语义感知少样本动作识别模型（SAFSAR），该模型通过直接利用 3D 特征提取器与有效的特征融合方案以及简单的余弦相似度分类，实现了更好的性能，无需复杂的距离函数和额外的时间建模组件。在这种方案中，SAFSAR 以一种紧凑的方式实现了对文本语义的编码、视频表示的自适应特征融合，并鼓励视觉编码器提取更具语义一致性的特征。在各种设置下对五个具有挑战性的少样本动作识别基准进行的实验证明，所提出的 SAFSAR 模型显著提高了最先进的性能。

    Nov, 2023

  • MGSampler：用于视频动作识别的可解释取样策略

    本文提出了一种基于运动敏感和运动一致性的框架抽取方法，称为 MGSampler，有效地解决了现有抽样策略中固定帧选择的不足，并在五大标准上进行了实验验证。

    Apr, 2021

  • 无遗漏：全视频动作识别

    通过对视频帧进行时间聚类，提出了一种全视频行为识别方法，相较于现有的基于帧采样的方法效果更好，同时由于采用了时空局部聚类和快速的哈明距离计算方法使其训练高效。

    Mar, 2021

  • 使用稀疏到稠密框架寻找行动轨迹

    本研究提出了一种高效的稀疏到密集的框架，通过单次前向传递从视频流中生成动作管提议，既利用了长期信息，又利用了短期信息，设计了动态特征采样模块 (DTS)，评估了我们的模型在 UCF101-24，JHMDB-21 和 UCFSports 基准数据集上的有效性，结果表明我们的框架比最近竞争对手快 7.6 倍。

    Aug, 2020