CVPRApr, 2018

运动融合框架：手势识别数据级融合策略

PDF
TL;DR本文提出了一种数据层次的融合策略 Motion Fused Frames（MFFs），以将动作信息融合到静态图像中，从而更好地代表动作的时空状态。该策略可以作为任何深度学习架构的输入，具有很少的网络修改量，并在三个视频数据集上进行评估，取得了出色的性能。
发现论文，激发创造
  • 运动特征网络：固定动作滤波器用于动作识别

    本文介绍了一种使用运动块的 MFNet 网络，可以捕捉序列帧之间的时空信息，提高动作识别的性能，且可将其附加到现有的 CNN 框架中。通过在 Jester 和 Something-Something 两个数据集上训练，得到了有竞争力的表现。

    Jul, 2018

  • 基于运动特征增强循环神经网络的基于骨架的动态手势识别

    本文提出了一种基于骨架的动态手势识别新运动特征增强的循环神经网络，该算法通过双向循环神经网络将动作特征与骨架序列结合起来，从而在识别手势时提高了准确性。

    Aug, 2017

  • 实时手势识别：骨骼数据融合和多流 CNN 的整合

    本研究聚焦于手势识别，通过数据级融合和多流卷积神经网络架构的集成调节器，有效地解决了人手形态中的个体差异问题，将骨骼模式的时空手势信息编码到 RGB 图像中，从而提高了姿势理解的语义并降低了噪声，其在 SHREC2017、DHG1428、FPHA、LMDHG 和 CNR 等基准数据集上实现了实时运行，大幅减少硬件需求和计算复杂性，为资源受限设备的人机交互和环境智能提供了可靠性和创新性。

    Jun, 2024

  • 使用深度神经网络对动作捕捉序列进行分类和可视化

    本研究提出了一种基于深度神经网络的姿态识别系统，使用相对关节位置、时间差和规范化运动轨迹等简单但有效的特征对骨架数据进行特征提取，并采用深度自编码器对特征进行可视化，测试结果表明，该深度神经网络能够捕获到比主成分分析更具有区分性的信息，同时在 65 类、超过 2000 个动作序列的公共数据库上取得了 95% 以上的准确率，是目前这类大型数据集的最佳表现。

    Jun, 2013

  • 多阶段分解时空表示用于 RGB-D 动作和手势识别

    提出了一种名为 MFST 的创新启发式结构，用于 RGB-D 动作和手势识别，通过多阶段分解的时空模型构建了鲁棒的时空表示。

    Aug, 2023

  • 姿态和关节感知动作识别

    本文提出了一种基于关节的动作识别模型，使用共享的运动编码器从每个关节分别提取运动特征，再通过联合推理的方式进行识别，同时引入了选定更具判别性关节的加权计算机制，关节对比损失技巧，以及基于几何感知的数据增强技术等方法，经实验证明，在 JHMDB，HMDB，Charades，AVA 动作识别数据集上，以及 Mimetics 数据集上，相对于当前最先进的基于关节行动识别方法有大幅度提升。同时与 RGB 和基于光流的方法进行了融合处理，以进一步提高性能。

    Oct, 2020

  • 无遗漏：全视频动作识别

    通过对视频帧进行时间聚类，提出了一种全视频行为识别方法，相较于现有的基于帧采样的方法效果更好，同时由于采用了时空局部聚类和快速的哈明距离计算方法使其训练高效。

    Mar, 2021

  • 基于逐帧运动和外观的实时多目标跟踪

    本文提出了一种高效的深度神经网络方法 ——FMA，计算两个视频帧之间的 Framewise Motion Fields，并对大量对象的边界框进行快速可靠匹配，同时实现 Frame-wise Appearance Features 的学习，以达到实时多目标跟踪并取得与现有最先进方法相竞争的结果。

    May, 2019

  • 一个多阶段自适应特征融合神经网络用于多模态步态识别

    通过多阶段特征融合策略（MSFFS），自适应特征融合模块（AFFM）和多尺度时空特征提取器（MSSTFE）提出了一种多阶段自适应特征融合（MSAFF）神经网络，结合了多种模态的优势，在多个数据集上展现出最先进的性能。

    Dec, 2023

  • 针对自我视角 RGB 视频的三维手部姿态估计和动作识别的分层时间变换器

    通过一个基于 transformer 的框架来利用时间信息进行动态手势和行为的鲁棒性估计，分别实现短期的手势估计和长期的行为识别，取得了较好的结果。

    Sep, 2022