Dec, 2023

D$^2$ST-Adapter：解耦与可变形的时空适配器对于少样本动作识别

PDF
TL;DR此研究论文介绍了适用于少样本动作识别的新型适配器调整框架 (D^2ST-Adapter)，其采用双通道架构以解耦空间和时间特征，并设计了可塑性的时空注意力模块，能够在 3D 时空视图中全局建模特征，同时保持轻量级设计。实验证明，这种方法在少样本动作识别方面优于现有方法，特别适用于对时态动态至关重要的挑战性场景。
few-shot action recognitiondisentangled-and-deformable spatio-temporal adaptertemporal featuresvideo dataaction recognition
发现论文，激发创造
  • ST-Adapter：基于转移学习的高效图像到视频参数适配器

    本文针对跨模态参数高效的图像到视频传递学习进行了研究，并提出了一种新的适应器 ——Spatio-Temporal Adapter，可以在较小的成本下实现有关动态视频内容的空时推理能力，并在视频动作识别任务上匹配或超越完全微调策略和最先进的视频模型，同时又具有参数效率的优势。

    Jun, 2022

  • 基于骨架的动作分割的解耦空时框架

    在长时间动作序列中，通过有效地建模具有辨别性的时空信息对活动进行分割非常重要。然而，我们观察到现有方法在弱时空建模能力上存在局限，原因是存在两种解耦建模方式：（i）级联相互作用耦合了空间和时间建模，导致长序列上的动作建模过于平滑；（ii）联合共享的时间建模采用共享权重来建模每个关节，忽略了不同关节的不同动作模式。我们提出了一种解耦的时空框架（DeST）来解决上述问题。首先，我们解耦级联时空交互，避免堆叠多个时空块，并实现足够的时空交互。具体而言，DeST 执行一次统一的空间建模，并将空间特征分成不同的子特征群组，然后与不同层的时间特征自适应交互。由于不同的子特征包含不同的空间语义，模型可以在每一层学习到最佳的交互模式。同时，受到不同关节以不同速度移动的事实的启发，我们提出了关节解耦的时间建模，它使用独立的可训练权重来捕捉每个关节的独特时间特征。在不同场景的四个大规模基准测试中，DeST 在计算复杂度更低的情况下明显优于当前最先进的方法。

    Dec, 2023

  • 学习领域不变的少样本动作识别的时间动态

    我们提出了 DITeD，或称为领域不变的时间动力学，在有限的样本和分布偏移的情况下，通过快速适应预训练模型来识别和利用预训练模型学到的可转移知识，其中关键挑战是如何识别和利用潜在变量之间的时间不变性（领域不变性）进行知识转移。

    Feb, 2024

  • 空间 - 时间变换引导扩散数据增强的高效基于骨架的动作识别

    本论文介绍一种基于数据增强的新方法，使用 DDPM 和 ST-Trans 生成高质量和多样化的顺序动作序列，有效地提高了现有动作识别模型的性能。

    Feb, 2023

  • 高效图像到视频迁移学习的空间和时间解耦

    DiST 是一种双编码器结构，其中预训练的基础模型充当空间编码器，引入了轻量级网络作为时间编码器，通过插入一个集成分支来融合时空信息，从而实现了视频的空间和时间解耦学习，提高了性能表现。

    Sep, 2023

  • 单次拍摄时间动作检测中解耦定位和分类

    本研究提出一种新的解决视频时序动作检测单级方案的方法 - Decoupled Single Shot temporal Action Detection (Decouple-SSAD)，通过在并行中设计两个单独的分支来实现定位和分类的解耦，从而提高训练效果。该方法在 THUMOS14 数据集上进行了广泛实验，证明了其优越性能。

    Apr, 2019

  • 动作识别的视频测试时间适应

    该研究提出了一种针对空间 - 时间模型的方法，它能够在单个视频样本上进行特征分布对齐，保证了预测的一致性，并且在三个基准行动识别数据集上都表现出极高的性能。

    Nov, 2022

  • 精细动作识别的动态时空专业化学习

    该论文提出了一种基于动态时空特化的模块，通过特定神经元的专业化设计实现 fine-grained 行为识别，并使用特化优化算法进一步优化架构，以适应视频中广泛的时空变化，取得了最先进的性能表现。

    Sep, 2022

  • 时空对齐网络用于动作识别

    通过引入视点不变特征表示，研究提高现有动作识别架构；提出了一种轻量级通用的空间 - 时间对齐网络（STAN）用于学习动作识别的几何不变表示；实验证明 STAN 模型在广泛使用的数据集上能够在从头开始训练的模式下持续改进动作识别任务的最先进模型。

    Aug, 2023

  • Few-shot 动作识别的时空关系建模

    本文提出了一种新颖的 few-shot 动作识别框架 STRM，该框架通过聚合表示空间和时间上下文并学习高阶时间表示来增强类特定特征的可区分性，并在局部补丁级别和全局帧级别的特征补充子模块中捕获出现的特征，通过在不同阶段加强特征学习，并在四个基准数据集上进行实验，取得了领先的结果。

    Dec, 2021