Oct, 2019

STEP：基于时空图卷积网络从步态中感知情感

PDF
TL;DR本文介绍了一种基于 ST-GCN 结构的新型分类器网路，称为 STEP，可通过人体步态特征自动识别出人类的情绪状态，使用 ST-GCN 基于 CVAE 结构的生成网络 ----STEP-Gen，结合一种新颖的推拉正则化损失函数可有效提升准确率，构建并公开了 E-Gait 数据集，实验结果表明，使用该模型可获得 89% 以上的情感特征学习精度，比以往方法的提升高出 14%-30%。
human emotiongaitsspatial temporal graph convolutional networkgenerative networkclassification accuracy
发现论文，激发创造
  • ST-Gait++：基于时空卷积的视频步态情绪识别

    通过分析步态，我们提出了一个深度框架用于情感识别，该模型由一系列空间 - 时间图卷积网络组成，用于生成稳健的基于骨架的情感分类任务的表示，评估结果显示相对于现有技术，准确率提高了约 5%，此外，我们观察到训练期间我们的模型比现有技术方法收敛更快。

    May, 2024

  • 基于骨骼的动作识别的时空图卷积网络

    提出了一种基于空间 - 时间图卷积网络 (ST-GCN) 的骨架识别模型，该模型能够在不借助人工干预的情况下自动学习骨架在空间和时间上的表现，并且在动作识别以及泛化能力方面远优于之前的方法。

    Jan, 2018

  • Social-STGCNN：一种用于人类轨迹预测的社交时空图卷积神经网络

    本研究通过提出 Social-STGCNN 方法，并将交互建模为图形而避免聚合方法的使用，提高人类与自主车辆之间模型交互的时效及准确性，同时提高参数及推理速度，且即使训练数据量减少可仍得出表现优异的结果。

    Feb, 2020

  • 基于自监督学习的选择性强增强骨架序列的步态情感表征学习

    通过使用选择性强数据增强 (SSA) 的对比学习框架，通过有限标记的步态数据获得更加有效的情感表示，从而提高步态情感识别的效果。

    May, 2024

  • 时空可分离图卷积网络用于姿态预测

    研究提出了一种基于图卷积网络的新颖的空时可分图卷积网络 (STS-GCN)，它可以在一个单一的图框架内，完全捕捉动态演化和空间关节交互，并使用内部学习的空间和时间的关联矩阵，优于当前技术，在长期预测方面取得了超过 32% 的平均性能提升，在三种大型数据集上进行了实验验证，并且只需要 1.7％的参数。

    Oct, 2021

  • 情感识别的时空循环神经网络

    本研究提出一种名为 STRNN 的深度学习框架来将人类情感信息的两种不同信号源进行学习，以便对情绪进行永久跟踪和分析，并在公共情感数据集上取得更具竞争力的结果。

    May, 2017

  • STEP CATFormer：基于空时有效部位交叉注意力变换器的基于骨骼的动作识别

    我们通过引入图卷积网络（GCN）和时序注意力转换器，提出了一种名为空间时序有效身体部位交叉注意力转换器的强大图卷积网络，用于骨骼动作识别和特征提取。

    Dec, 2023

  • 多尺度时空图卷积网络用于面部表情检测

    本文提出了一种用于面部表情识别的多尺度时空图卷积网络 (SpoT-GCN)，通过接受域自适应滑窗策略提取更稳健的动态特征，并通过面部图形表示将微妙的动态特征转换为学习到的时空图模式，并使用提出的面部局部图池化 (FLGP) 从多个尺度的面部图结构中学习局部和全局特征，此外，引入了有监督对比学习来增强模型对难以分类的帧的区分能力。在 SAMM-LV 和 CAS (ME)^2 数据集上的实验结果表明，我们的方法在微表情识别方面达到了最先进的性能，消融研究进一步验证了我们提出的模块的有效性。

    Mar, 2024

  • 基于情感因果关系的门控多尺度时间卷积网络用于语音情感识别

    本文提出一种 Gated Multi-scale Temporal Convolutional Network (GM-TCNet) 情感因果表示学习模型，通过构建多尺度感受野的情感因果表示学习模块来捕捉情感动态，并利用跳跃连接融合不同门卷积块中的高级特征以捕捉人类语音中丰富微妙的情感变化进行语音情感识别，与最先进的技术相比具有更高的性能表现。

    Oct, 2022

  • 基于空间和时间变换器网络的基于骨架的动作识别

    本文提出了一种基于 Spatial-Temporal Transformer 网络的骨骼姿态行为识别方法，使用自注意力机制成功提取了骨骼运动及其相关性的信息，与其他同类算法相比在多个大规模数据集上表现出更好的精度。

    Aug, 2020