Mar, 2024

多尺度时空图卷积网络用于面部表情检测

PDF
TL;DR本文提出了一种用于面部表情识别的多尺度时空图卷积网络 (SpoT-GCN)，通过接受域自适应滑窗策略提取更稳健的动态特征，并通过面部图形表示将微妙的动态特征转换为学习到的时空图模式，并使用提出的面部局部图池化 (FLGP) 从多个尺度的面部图结构中学习局部和全局特征，此外，引入了有监督对比学习来增强模型对难以分类的帧的区分能力。在 SAMM-LV 和 CAS (ME)^2 数据集上的实验结果表明，我们的方法在微表情识别方面达到了最先进的性能，消融研究进一步验证了我们提出的模块的有效性。
facial expression spottingspot-gcnmotion featuresfacial graph representationsupervised contrastive learning
发现论文，激发创造
  • 自适应时间动作引导的图卷积网络用于微表情识别

    提出了一种名为自适应时间运动引导图卷积网络（ATM-GCN）的微表情识别框架，该框架在整个剪辑中捕获帧之间的时间依赖关系，从而增强了剪辑级别的微表情识别能力。实验证明，ATM-GCN 不仅在 Composite 数据集上超过现有的最先进方法，而且在最新的微表情数据集 CAS (ME)$^3$ 上也取得了卓越的性能。

    Jun, 2024

  • 用于识别自发微表情的时空循环卷积神经网络

    本研究提出了一种利用深度循环卷积神经网络进行微表情识别的方法，该方法能够捕捉微表情序列的时空变化，相对于现有的其他方法，该方法表现更为优异。

    Jan, 2019

  • 基于多尺度空间时间图卷积网络的基于骨架的动作识别

    本研究提出了一种多尺度空间图卷积和多尺度时间图卷积模型，通过分解相应的局部图卷积为一系列子图卷积，形成一个分层残差体系结构，使图卷积神经网络能够捕获空间和时间域中的短程和长程依赖关系，从而实现骨骼动作识别，该模型在三个基准数据集上表现出了显著的性能。

    Jun, 2022

  • 基于骨骼的动作识别的时空图卷积网络

    提出了一种基于空间 - 时间图卷积网络 (ST-GCN) 的骨架识别模型，该模型能够在不借助人工干预的情况下自动学习骨架在空间和时间上的表现，并且在动作识别以及泛化能力方面远优于之前的方法。

    Jan, 2018

  • 基于多尺度时空自注意力图卷积网络的基于骨架的动作识别

    通过使用自注意力图卷积网络 (GCN) 技术，本研究提出了一种混合模型，名为多尺度时空自注意力网络 (MSST-GCN)，以有效提高建模能力，并在多个数据集上取得了最先进的结果。该模型利用自空间注意力模块来理解帧内不同身体部位之间的关系，利用自时间注意力模块来研究节点帧之间的相关性。随后，通过多尺度卷积网络捕获节点的长程时空依赖关系，将它们组合成高层次的时空表示，并使用 softmax 分类器输出预测的动作。

    Apr, 2024

  • 基于卷积神经网络和条件随机场的时空面部表情识别

    本文提出了一种基于深度卷积神经网络和条件随机场模型的视频面部表情识别方法，该模型从面部图像中提取空间信息和视频帧之间的时间关系，并在三个公共数据库上进行了实验证明，该模型在跨数据库实验中表现出色，并在主体独立实验中获得与现有模型相当的成果。

    Mar, 2017

  • 基于骨骼的动作识别的时空图卷积

    本文提出了一种称为 Spatio-Temporal Graph Convolution (STGC) 的方法，用于动作识别中的骨架，该方法组合了本地卷积过滤器的成功和自回归移动平均的序列学习能力，通过递归地进行多尺度局部图卷积过滤器构建。实验表明 STGC 模型的有效性和优于现有技术的改进。

    Feb, 2018

  • 基于骨架的动作识别的多尺度时空图网络

    该论文主要介绍了一种新型的骨骼动作识别模型叫做 TGN，结合了多尺度图策略来提取骨骼序列的时空特征，得到更好的实验结果。

    Dec, 2020

  • 基于时空 Inception 图卷积网络的基于骨架的动作识别

    通过对图形卷积网络中的拆分、变换、合并策略进行重新设计，我们构建了一个简单而高度模块化的图形卷积网络体系结构，用于骨架序列处理中的动作识别，并证明了其优于现有基于深度学习的方法。

    Nov, 2020

  • 空间 - 时间图卷积神经网络用于手语识别

    提出了一种基于人类骨骼运动的时空图卷积网络的手语识别方法，使用图来捕捉手语在二维空间和时间上的动态，并提供了一个新的 ASLLVD 人体骨架手语数据集以供未来的相关研究。

    Jan, 2019