Mar, 2024

BID：无监督时间动作定位预训练的边界内部解码

PDF
TL;DR通过边界内功夫解码的无监督预训练框架，将基于骨骼的运动序列分割为语义上有意义的预操作片段，通过对少量注释数据进行微调，我们展示了远远超过 SOTA 方法的结果。
skeleton-based motion representationsaction localizationunsupervised pre-training frameworkboundary-interior decoding (bid)pre-action segments
发现论文，激发创造
  • 基于骨架的非监督动作识别和聚类

    我们提出了一种新颖的无监督骨架动作识别系统，该系统基于编码器 - 解码器递归神经网络，可以无需提供任何标签或摄像头深度输入，并可在各维度的身体关键点（2D 或 3D）和附加提示描述移动的情况下操作，并将其与最新的无监督骨架方法进行比较。方法表现出更好的交叉视图性能，且与有监督骨架动作识别表现相似。

    Nov, 2019

  • 视频时间定位的边界敏感预训练

    本文首次探讨采用边界敏感预训练任务的方式进行时间定位的模型预训练，并在多个时间定位任务上实现了新的最先进性能，证明了该方法的有效性。

    Nov, 2020

  • 学习显著边界特征以实现无锚定时间行为定位

    本文提出了第一个完全基于无锚点的时间定位方法，该模型通过使用一种基本的可训练推荐器、一个基于显着性的细化模块以及若干一致性约束来实现。实验证明，我们的方法在 THUMOS14 上击败了所有锚点和动作导向方法，取得了最先进的结果，在 ActivityNet v1.3 上取得了可比较的结果。

    Mar, 2021

  • 基于时空解耦对比学习的骨骼人体动作识别

    我们提出了一种用于基于骨架的动作识别的框架（STD-CL），通过解耦空间和时间特征并应用注意力特征到对比学习，改进了全局特征的语义，提高了准确性，在 NTU60、NTU120 和 NW-UCLA 基准数据集上实现了改进。

    Dec, 2023

  • DIR-AS: 将个体识别和时间推理分离以进行动作分割

    本文提出了一种新颖的本地 - 全局注意力机制来解决行动分割中过度分割问题，同时通过时间金字塔扩张和池化来实现高效多尺度关注，将个体识别与时间推理解耦，并通过行动对齐模块来融合不同的粒度级别预测，从而实现更精确和更平滑的行动分割， 在 GTEA 和 Breakfast 数据集上取得了最先进的准确性。

    Apr, 2023

  • 跨数据集基于骨架的动作识别中的时空立方体学习

    本篇文章研究骨架动作识别的跨数据集问题，并提出了一种基于自监督的域自适应方法，通过对时间和空间分段来探索模型的时空依赖关系并提高模型的泛化能力，实验结果证明该方法优于其他方法。

    Jul, 2022

  • 面向行动识别的定向时态建模

    本文引入了通道独立方向卷积（CIDC）操作，学习在局部特征之间建模时间演变，构建了一个轻量级网路建立并能分析多个空间尺度上剪辑级时序演变的网络结构，并通过四个流行的活动识别数据集验证了该方法的有效性，并可视化该网络的激活图，显示其能够关注图像帧中更有意义、与动作相关的部分。

    Jul, 2020

  • 运动数据有效的无监督时序分割

    我们介绍了一种基于自相似结构的自动化时间分割人体运动数据的方法，并使用邻域图将运动基元聚类成更大的语义实体，实现了完全无监督的分割和分析运动数据的能力。

    Oct, 2015

  • SCD-Net: 自监督骨架动作识别的时空线索分解网络

    该研究采用一种名为 SCD-Net 的新型对比学习框架，通过引入解耦模块以及融合空间和时间领域的特征提取器，从而更好地编码骨架序列，提取明确的线索。通过结构约束改进的掩蔽策略增强背景关联，将掩蔽图像建模的最新发展应用于 SCD-Net，实验结果证明了该方法的有效性，明显优于现有的最先进方法。

    Sep, 2023

  • 多层监督的时间动作检测

    研究介绍在视频中训练时序动作检测需要大量标记数据，使用半监督学习和未标记数据可以降低标记成本。提出了一个半监督动作检测任务，设计了无监督前景注意力和信息瓶颈方法来提高性能并评估其在标记，未标记和弱标记数据下的表现。

    Nov, 2020