一种用于动作识别的强大高效的视频表示方法
本文提出了一种基于时间序列池化的特征表示框架,用于抽象活动视频中的短期 / 长期特征描述符的变化,并用于处理第一人称视频活动数据集的动作识别问题,与基于视觉词袋和改进的 Fisher 矢量的特征表示相比能够更好地表征第一人称视频中的动作。
Dec, 2014
本文提出了一个基于无监督学习的方法来学习视频中的动作识别表示,该方法结合图像表示中的两种顶级目标 —— 实例识别和局部聚合,以及通过 IDT 描述符构成的集群。使用此方法,我们在 UCF101 和 HMDB51 动作识别基准测试中取得了优异的结果,并且成功捕捉了视频动态。
Jun, 2020
本研究提出了一种名为 OFF 的紧凑型动作表示法,通过直接计算深度特征图的像素空间梯度,能够嵌入现有的 CNN 网络进行视频动作识别,从而快速提取时空信息,实现了比两种流(RGB 和光流)快 15 倍的速度和与之相似的精度。
Nov, 2017
本文针对噪声深度数据难以捕捉运动和形状线索的现状,提出了一种新颖的两层 “视觉词袋”(BoVW)模型。该模型通过背景建模和引入运动和形状线索生成稳健和独特的时空兴趣点,利用多尺度 3D 局部方向核 (M3DLSK) 描述算法和空间 - 时间向量 (STV) 描述算法,提出融合运动和形状线索的行动表示。实验验证了该模型在识别类似动作和抵抗背景杂波、部分遮挡和掩蔽噪声等情况中的有效性。
Dec, 2017
本文提出了一种基于关节的动作识别模型,使用共享的运动编码器从每个关节分别提取运动特征,再通过联合推理的方式进行识别,同时引入了选定更具判别性关节的加权计算机制,关节对比损失技巧,以及基于几何感知的数据增强技术等方法,经实验证明,在 JHMDB,HMDB,Charades,AVA 动作识别数据集上,以及 Mimetics 数据集上,相对于当前最先进的基于关节行动识别方法有大幅度提升。同时与 RGB 和基于光流的方法进行了融合处理,以进一步提高性能。
Oct, 2020
本文提出一种新的视频表示方法 TDD,通过利用深度卷积特征和轨迹约束池化来学习生成自动化的高度区分性的特征描述符,通过归一化方法来提高 TDD 鲁棒性,实验结果表明 TDD 优于之前使用的手工制作和深度学习的特征方法在动作识别方面的性能。
May, 2015
提出了一种基于密集间接结构运动方法的鲁棒性摄像机姿态估计方法,利用密集对应初始化并优化长程视频对应关系作为密集点轨迹并用于学习运动分割的鲁棒估计;实验表明我们的系统相对于现有最先进方法在 MPI Sintel 数据集上产生了更准确的摄像机轨迹,并在全静态场景上保持合理的摄像机姿态准确度,这也印证了基于光流和点轨迹的密集间接方法的潜力。
Jul, 2022
基于光流和动作识别,本文研究不同类型的光流及从光流中提取的特征,通过对光流动态进行功率归一化以纠正流动态并提高性能,进一步将修正后的流动态集成到流行模型中,并通过简单的幻觉步骤翻译 CNN 特征图到不同尺度的光流特征,取得多个基准测试中的最佳性能。
Oct, 2023
通过用运动矢量直接代替计算光流来加速双流架构,然后通过初始化转移、监督转移和它们的组合,将光流 CNN 中学习的知识转移到运动矢量 CNN 中,以提高后者的性能。实验结果表明,该方法的识别性能可与最先进的方法相媲美,同时处理速度比原始的双流方法快 27 倍。
Apr, 2016