Jun, 2014

基于序列对齐的连续动作识别

PDF
TL;DR本文提出了基于动态时间扭曲 (DTW) 框架的动态帧扭曲 (DFW) 技术，该技术能够对视频进行基于逐帧表示的单独识别，并对测试序列与模型序列进行对齐。并提出了一过程 DFW 和二过程 DFW 两种方法，使其能够与分割同时进行。在 RAVEL 数据集、Hollywood-1 和 Hollywood-2 公共数据集上进行了测试并进行了性能比较。
continuous action recognitiondynamic frame warpingsegmentationper-frame representationvisual alignment
发现论文，激发创造
  • 利用动态时间规整学习区分原型

    本文提出了 DP-DTW 方法，用于学习类别特定的判别式原型，以便在时间识别任务中实现更好的性能，并且结合端到端深度学习，可在标准基准测试中实现最先进的弱监督行动分割问题，并通过对所学行动原型的详细推理来启用输入视频的详细摘要，即可以通过将输入序列与行动原型对齐来获得基于行动的视频摘要。

    Mar, 2021

  • 使用无监督学习局部和全局特征实现视频对齐

    本文介绍一种无监督的视频对准方法，通过人体检测、姿态估计、VGG 网络等机器视觉工具提取并结合构建多维时间序列，利用 Diagonalized Dynamic Time Warping (DDTW) 算法对相同动作的视频进行对齐，采用新型评价指标 Enclosed Area Error (EAE) 显示本文方法在视频对齐任务和相位分类任务上均优于之前最先进的方法 (TCC 等)。

    Apr, 2023

  • 通过全局时间对齐和循环一致性进行表征学习

    本文提出了一种针对同一过程（如人类动作）的时间序列（例如视频）的弱监督表征学习方法，通过对全局时间序列进行对齐，并利用对齐的隐变量跨序列对的全局时间顺序作为监督信号进行表征学习，通过最优序列对齐进行嵌入网络的训练。通过大量实验表明，该方法在动作分类、少样本学习和视频同步等任务中均比之前的方法性能有了明显提高。

    May, 2021

  • 视频动作识别的持续学习方法基线

    本文旨在针对视频动作识别领域提出一种有效的、高效的方法来解决模型不断学习的问题，包括使用模型信心或数据信息来选择可记忆的样本的方法，并针对此方法进行评估，得出了在小缓冲区的条件下表现出更高的学习效果。

    Apr, 2023

  • 高时间分辨率行动识别序列建模

    本文介绍了一个新数据集 StrokeRehab，旨在解决机器学习中的一个重要问题，即从视频和运动数据中识别出细微的运动，提出了一种以语音识别技术为灵感的基于序列到序列模型的高分辨率动作识别方法，并在 StrokeRehab 数据集以及标准测试数据集 50Salads，Breakfast 和 Jigsaws 上取得了当前最优的结果。

    Nov, 2021

  • 无遗漏：全视频动作识别

    通过对视频帧进行时间聚类，提出了一种全视频行为识别方法，相较于现有的基于帧采样的方法效果更好，同时由于采用了时空局部聚类和快速的哈明距离计算方法使其训练高效。

    Mar, 2021

  • D3TW: 区分性可微分动态时间规整方法 用于弱监督动作对齐和分割

    本文提出了一种名为 D3TW 的新模型，通过创新性的弱监督序列排序方式，在视频中实现了弱监督行为对齐和分割，并在数据集上进行了测试。

    Jan, 2019

  • 基于时间对齐视频学习

    本研究提出了一种自监督学习方法，利用时间视频对齐作为前提任务，同时利用帧级别和视频级别信息，通过时间对齐损失和时间正则化项的结合来训练编码器网络，通过在不同数据集上的广泛评估验证其在视频表示学习方面的出色性能。

    Mar, 2021

  • 连续时间嵌入的无监督动作类别学习

    该研究提出了一种基于连续时间嵌入的无监督学习方法，通过鉴别视觉序列中课程的聚类段以实现发现非结构化视频中的动作。该方法被评估在三个数据集上，可以适用于未知情景下的视觉内容分析

    Apr, 2019

  • 弱监督时序动作分割的混合 RNN-HMM 方法

    提出了一种层次化方法，通过结构化识别来解决从有序动作标签中弱监督学习人类动作的问题，并将一帧 RNN 模型与粗略概率推理相结合，以实现长序列的时间对齐和迭代训练。

    Jun, 2019