Nov, 2023

HiH: 用于无约束步态识别的多模式层次结构网络

PDF
TL;DR鉴于步态识别在受控环境中取得了令人满意的进展，但在无约束环境中仍面临视角变化、遮挡和变化的步行速度等挑战，我们提出了一种多模态多层次网络（HiH），通过集成轮廓和姿势序列实现了鲁棒的步态识别。 HiH 利用分层步态分解器（HGD）模块对轮廓数据中的一般步态模式进行了深度和模块内分层检查。此方法从整体身体动力学到详细的肢体动作捕获了运动层次结构，有助于在多个空间分辨率上表示步态属性。此外，基于二维关节序列的辅助分支丰富了步态分析的空间和时间方面。它使用可变形的空间增强（DSE）模块进行姿势引导的空间注意力，以及使用可变形的时间对齐（DTA）模块通过学习的时间位移对齐运动动力学。对不同的室内和室外数据集进行了全面的评估，结果显示 HiH 具有最先进的性能，证实了准确性和效率之间的良好平衡。
gait recognitionunconstrained environmentsmulti-modal hierarchy in hierarchy networksilhouette and pose sequencesrobust gait recognition
发现论文，激发创造
  • 基于层次化时空表示学习的步态识别

    本文提出了一种分层时空表示学习 (HSTL) 框架，用于从粗到细提取步态特征，并通过多层特征映射和多尺度时间降采样来减少冗余信息，实验表明该方法在性能上优于现有方法并保持了模型准确度与复杂度的合理平衡。

    Jul, 2023

  • 层次化舞蹈视频识别无监督 3D 姿态估计

    提出了一种分层舞蹈视频识别框架 (HDVR)，它通过估计 2D 姿势序列，跟踪舞者，并同时估计相应的 3D 姿势和 3D 到 2D 成像参数来提取舞蹈的层次结构。我们在多人跟踪和通过 LSTM 网络识别舞蹈类型方面优于现有的 3D 姿势估计方法。

    Sep, 2021

  • 基于骨架的步态识别的深入理解

    该论文提出了一种基于 Graph Convolutional Networks（GCNs）的方法，结合高级别输入和残差网络，用于骨架轮廓图进行步态识别，实验结果显示了 3 倍于最先进技术水平和强大的视频建模能力。

    Apr, 2022

  • 学习层级跨模态关联以进行共同语音手势生成

    本文提出了一种名为 HA2G 的新框架，用于语音一致的身体和手势动作的生成。HA2G 使用分层音频学习器和分层姿势推理器提取并逐层渲染全身姿势，同时基于音频文本对齐的对比学习策略提高音频表示的质量，结果表明该方法生成的共语手势更逼真，比以往方法有更高的性能表现。

    Mar, 2022

  • 基于姿态的深度步态识别

    本文提出了一种基于姿态的卷积神经网络模型，用于人体步态识别，利用肢节周围区域的动作信息和光流法提取特征，实验证明该方法的效果超过现有技术水平。

    Oct, 2017

  • TriGait：通过三分支网络对骨骼和轮廓步态数据进行对齐和融合

    本文介绍了一种新的三支路人体步态识别框架（TriGait），它有效地融合了骨架和轮廓数据的特征，包括从外观提取静态和动态特征的两流网络，通过捕捉所有关节之间的依赖关系的简单而有效的 JSA-TC 模块，以及通过对两种模态的低级特征进行对齐和融合的第三支路用于交叉模态学习。实验证据表明 TriGait 在人体步态识别方面具有卓越的优越性和有效性。在 CASIA-B 数据集的所有条件下，所提方法的平均排名准确率为 96.0％，对 CL 数据集的准确率为 94.3％，明显优于所有现有技术方法。源代码将在此 URL 提供。

    Aug, 2023

  • 分层动态图像调和

    本文提出了一种分层动态网络 (HDNet) 用于图像和谐处理，该网络通过局部动态和面具感知全局动态，从本地到全局视角自适应模型参数和特征改变，以实现更好的特征转换和全局调和。

    Nov, 2022

  • 基于多模态数据的手术手势分割和识别的分层半监督学习框架

    通过使用多模态数据、分层半监督学习框架、基于 Transformer 的网络等方法，该研究提出了一种用于手术姿势分割和手势识别的技术，并在公开可用的 JIGSAWS 数据库上进行了评估，得到了较高的分割和识别准确度。

    Jul, 2023

  • GaitRef：优化时序骨架的步态识别

    本文提出一种将 silhouettes（侧面轮廓）和 joint skeletons（关节骨架）相结合，利用 silhouette 序列的时间信息优化骨架识别来提高步态识别性能的方法，并在四个公共数据集上展示了最先进的性能。

    Apr, 2023

  • 一个多阶段自适应特征融合神经网络用于多模态步态识别

    通过多阶段特征融合策略（MSFFS），自适应特征融合模块（AFFM）和多尺度时空特征提取器（MSSTFE）提出了一种多阶段自适应特征融合（MSAFF）神经网络，结合了多种模态的优势，在多个数据集上展现出最先进的性能。

    Dec, 2023