Jun, 2023

利用时空图卷积网络的迁移学习为视障人士提供的剧场辅助系统

PDF
TL;DR本研究的目的是通过使用深度图像采集的骨架数据，创建一个剧场人类行为识别系统，以帮助视障人士和盲人。利用三种预训练的基于骨架的人类行为识别 Spatio-Temporal Graph Convolution Networks 在源领域和目标领域之间建立迁移学习模型，结果表明，迁移学习有助于提高剧场环境下的人类动作识别系统的性能。
human action recognitiondepth imagetransfer learningspatio-temporal graph convolution networkstheatre
发现论文，激发创造
  • 基于骨骼的动作识别的时空图卷积网络

    提出了一种基于空间 - 时间图卷积网络 (ST-GCN) 的骨架识别模型，该模型能够在不借助人工干预的情况下自动学习骨架在空间和时间上的表现，并且在动作识别以及泛化能力方面远优于之前的方法。

    Jan, 2018

  • 基于骨架的多粒度时空图神经网络学习用于动作识别

    本文提出了一种新的基于骨架的动作分类方法，使用多层次空间时间图网络联合建模粗粒度和细粒度骨架运动模式，并采用双头图网络和跨头部通信策略来提取两个时空分辨率的特征，实验证明该方法在三个大规模数据集上取得了最先进的性能。

    Aug, 2021

  • 基于骨骼的动作识别的时空图卷积

    本文提出了一种称为 Spatio-Temporal Graph Convolution (STGC) 的方法，用于动作识别中的骨架，该方法组合了本地卷积过滤器的成功和自回归移动平均的序列学习能力，通过递归地进行多尺度局部图卷积过滤器构建。实验表明 STGC 模型的有效性和优于现有技术的改进。

    Feb, 2018

  • 一种增强型注意力图卷积 LSTM 网络用于基于骨架的动作识别

    本研究提出了一种 Attention Enhanced Graph Convolutional LSTM 网络 (AGC-LSTM) 的方法，它不仅可以在时间与空间领域之间探索联合关系，还可以通过注意力机制提高每个 AGC-LSTM 层中关键节点的特征差异性， 同时在空间和时间特征上提取关键特征，该方法在两个数据集上的表现均优于现有的最先进方法。

    Feb, 2019

  • 基于时空 Inception 图卷积网络的基于骨架的动作识别

    通过对图形卷积网络中的拆分、变换、合并策略进行重新设计，我们构建了一个简单而高度模块化的图形卷积网络体系结构，用于骨架序列处理中的动作识别，并证明了其优于现有基于深度学习的方法。

    Nov, 2020

  • DD-GCN: 基于有向扩散图卷积网络的基于骨骼的人体行为识别

    构建了指向性扩散图进行动作建模，引入了活动分割策略以优化图卷积核的权重共享机制，提出了时空同步编码器用于嵌入同步时空语义，并通过在三个公共数据集上的实验验证了我们方法的最先进性能。

    Aug, 2023

  • 神经搜索下的基于骨架的人体动作识别中的图卷积网络学习

    提出了一种自动设计的图卷积网络，用于基于骨架的动作识别，该网络通过动态图模块和多次跳跃模块增加了空间 - 时间相关性的表示能力，使用采样和记忆效率的进化策略搜索出优化架构，结果表明其效果优于现有图卷积网络。

    Nov, 2019

  • 空间 - 时间图卷积神经网络用于手语识别

    提出了一种基于人类骨骼运动的时空图卷积网络的手语识别方法，使用图来捕捉手语在二维空间和时间上的动态，并提供了一个新的 ASLLVD 人体骨架手语数据集以供未来的相关研究。

    Jan, 2019

  • 基于空间和时间变换器网络的基于骨架的动作识别

    本文提出了一种基于 Spatial-Temporal Transformer 网络的骨骼姿态行为识别方法，使用自注意力机制成功提取了骨骼运动及其相关性的信息，与其他同类算法相比在多个大规模数据集上表现出更好的精度。

    Aug, 2020

  • 针对人类动作识别的姿态条件的时空关注

    通过利用多模态视频数据，并提出使用两种方法来识别人类行为，包括使用卷积模型处理姿势流，由可调节关注机制控制图片流，最后经过 LSTM 神经网络对不同姿态下的处理进行特征提取，能够在多数据集上大幅度的提高人类行为识别的效果。

    Mar, 2017