粗细深度特征融合和异步融合的行为识别
该研究提出了一种新颖的深度监督神经网络模型,利用了视觉跟踪,并结合了深度卷积神经网络(CNN)和循环神经网络(RNN)的鲁棒性来进行视频动作识别任务。研究结果表明,该模型在 UCF101 和 HMDB51 这两个具有挑战性的数据集上表现出色,仅使用卷积特征就可以达到最先进的水平。
Jul, 2016
本文提出了一种新颖的框架,通过交互式融合,即将不同空间的特征进行投影并使用辅助预测任务进行引导,实现了语义信息、位置信息和外貌信息的融合,从而实现了复杂动作的识别,并在两个数据集上进行了验证,取得了比通用识别算法更好的结果。
Dec, 2020
本文提出了一种介于 3D 卷积和 CNN 特征融合之间的方法,使用卷积结构学习适当的模式,同时保留了特征流,并检验了该方法在 TSN、TRN 和 ECO 模型上的效果。
May, 2019
本文主要介绍了基于卷积神经网络和 LSTM 神经网络的动作识别方法,实验证明本文提出的多流融合模型可以有效地提高识别准确率。
Apr, 2017
本文提出一种改进卷积神经网络 (CNN) 网络的末层以提高动作识别的表征能力,通过对细节的敏感度提升,实现对 Kinetics-400 和 Something-Something-V1 数据集的最优表现。
Aug, 2019
本文研究了基于视觉编码器和多模式视频文本交叉编码器的两个框架,通过结合 CNN 视觉和 Transformer 编码器,增强了细粒度行动识别的效果,并在 FineGym 基准数据集上取得了最新的最优性能。
Aug, 2022
本文提出了一种基于关节的动作识别模型,使用共享的运动编码器从每个关节分别提取运动特征,再通过联合推理的方式进行识别,同时引入了选定更具判别性关节的加权计算机制,关节对比损失技巧,以及基于几何感知的数据增强技术等方法,经实验证明,在 JHMDB,HMDB,Charades,AVA 动作识别数据集上,以及 Mimetics 数据集上,相对于当前最先进的基于关节行动识别方法有大幅度提升。同时与 RGB 和基于光流的方法进行了融合处理,以进一步提高性能。
Oct, 2020
该研究提出了一种用于行动识别的粗到细框架,旨在预测视频级别的行动,并识别视频中每个人体部分的帧级细粒度操作或交互,通过 Kinetics-TPS 的全面实验,该框架取得了最先进的性能,在 31.10%的 ROC 得分上优于现有方法。
Mar, 2022
提出了一种基于完全连接的时间条件随机场模型,用于推理各个活动方面,包括对象、动作和意图,其中潜在函数由深层网络预测;而异步变分推理方法使得高效的端到端训练成为可能,该方法在 Charades 基准测试中达到了 22.4%的分类 mAP,超过了现有技术 (17.2%mAP)。
Dec, 2016
通过使用小波 - 注意分离模块来解决骨骼动作识别中相似动作序列间的混淆和关注轨迹特征的细粒度对比增强模块,我们提出了一种骨骼动作识别方法。实验证明,我们的方法在面对混淆的细粒度动作时具有竞争力。
Feb, 2024