行动识别的泰勒视频
本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征,通过训练神经网络来区分不同的时间变换的视频序列,使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明,可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。
Jul, 2020
本文旨在介绍一种最先进的视频表示方法并将其应用于高效的动作识别和检测。我们采用密集轨迹特征提取等一系列方法来改进该方法,并比较了传统基于单词包直方图的编码方法以及 Fisher 向量编码方法在视频识别任务中的表现。实验结果表明,我们提出的改进轨迹特征显着优于传统的密集轨迹方法,并且 Fisher 向量编码方法表现更好。
Apr, 2015
通过用运动矢量直接代替计算光流来加速双流架构,然后通过初始化转移、监督转移和它们的组合,将光流 CNN 中学习的知识转移到运动矢量 CNN 中,以提高后者的性能。实验结果表明,该方法的识别性能可与最先进的方法相媲美,同时处理速度比原始的双流方法快 27 倍。
Apr, 2016
本文研究了在移动设备上的视频动作识别任务,提出了一个基于 MobileNetV2 和 Temporal Trilinear Pooling (TTP) 模块的方法,使用多种模态处理压缩视频,并进行了效率测试,结果表明我们的模型在移动设备上可以实现 40FPS 的识别速度,且在模型大小和时间消耗方面表现优异。
Aug, 2019
基于光流和动作识别,本文研究不同类型的光流及从光流中提取的特征,通过对光流动态进行功率归一化以纠正流动态并提高性能,进一步将修正后的流动态集成到流行模型中,并通过简单的幻觉步骤翻译 CNN 特征图到不同尺度的光流特征,取得多个基准测试中的最佳性能。
Oct, 2023
本文研究行动识别问题,结合 SlowFast 网络和 TSM 方法,在视频中提取运动特征可以使用残差帧作为输入和 RGB 帧输入模型的优秀补充,通过 3D 卷。积(SlowFast)与 2D 卷积(TSM)的组合取得更好的性能结果,以上实验均在 UCF101 中从头开始训练。
Jul, 2020
本研究通过设计渐进式增强模块(PEM)和创建时间多样性损失(TD Loss)两种方法,以解决将 2D CNN 应用于视频分析中出现的重复和冗余信息利用问题,并在 Something-Something V1 和 V2 等基准时间推理数据集上取得 2.4%和 1.3%的性能改进,同时在大规模数据集 Kinetics 上也 witness 了超过基于 2D-CNN 的现有技术的性能提升。
Jul, 2020
本文提出了一种动作检测方法,使用从 2D 图像中物体检测领域的最新进展,利用形状和运动线索建立动作模型,并通过运动显著性选择图像区域提取时空特征建立强分类器,得出了时间一致的动作检测结果。
Nov, 2014
本论文提出了一种通过运动类型分类来理解对象运动的新方法,该分类器可以将给定视频分配到五种不同的原始运动类中,通过该方法获得的表征性能良好,适用于具有挑战性的下游视频检索任务,我们还基于运动类型分类器提出了视频播放风格的推荐系统。
Oct, 2021