Apr, 2024

MSSTNet：用于动态面部表情识别的多尺度时空卷积 - 变换网络

PDF
TL;DR通过提出多尺度时空 CNN-Transformer 网络（MSSTNet），本研究在人脸动态表情识别领域中取得了最先进的结果，该方法利用多尺度空间和时间信息实现了对面部表情的准确分类。
dynamic facial expression recognitionmulti-scale spatio-temporal cnn-transformer networkmulti-scale embedding layertemporal transformerspatio-temporal information
发现论文，激发创造
  • 一种基于多尺度特征融合的轻量级注意力深度网络用于多视角面部表情识别

    通过引入轻量级的关注网络，以及多尺度特征融合，本研究的主要目标是克服在实际应用中计算复杂性和多视角头部姿势方面所面临的挑战，该方法在参数数量和对姿势变化的鲁棒性方面达到了业界先进方法的水平。

    Mar, 2024

  • 从静态到动态：针对视频中面部表情识别的适应性地标感知图像模型

    通过静态 - 动态模型 (S2D) 结合面部标志感知特征和基于情感锚点的自蒸馏损失函数，提高了动态面部表情识别性能并达到了最先进水平。

    Dec, 2023

  • 多尺度时空图卷积网络用于面部表情检测

    本文提出了一种用于面部表情识别的多尺度时空图卷积网络 (SpoT-GCN)，通过接受域自适应滑窗策略提取更稳健的动态特征，并通过面部图形表示将微妙的动态特征转换为学习到的时空图模式，并使用提出的面部局部图池化 (FLGP) 从多个尺度的面部图结构中学习局部和全局特征，此外，引入了有监督对比学习来增强模型对难以分类的帧的区分能力。在 SAMM-LV 和 CAS (ME)^2 数据集上的实验结果表明，我们的方法在微表情识别方面达到了最先进的性能，消融研究进一步验证了我们提出的模块的有效性。

    Mar, 2024

  • 多尺度时差变换器用于视频文本检索

    在视频文本检索领域，我们提出了一种名为 MSTDT 的变种 Transformer，主要解决了传统 Transformer 对于捕捉本地时间信息能力有限的问题，并通过多尺度时间 Transformer 来提取帧差异特征和整合差异和帧特征来更好地建模动态信息，实现了与 CLIP 等主干网络的全新最先进结果。

    Jun, 2024

  • 多阶段分解时空表示用于 RGB-D 动作和手势识别

    提出了一种名为 MFST 的创新启发式结构，用于 RGB-D 动作和手势识别，通过多阶段分解的时空模型构建了鲁棒的时空表示。

    Aug, 2023

  • 基于增强式深度 3D 卷积神经网络的人脸表情识别

    本篇研究提出了在视频中进行情感识别的 3D 卷积神经网络方法，使用 3D Inception-ResNet 层及 LSTM 单元，从面部图像中提取空间关系和不同帧之间的时间关系，并利用面部关键点作为输入，该方法在四个公开数据库上的表现超过了现有最先进技术。

    May, 2017

  • LOGO-Former: 动态面部表情识别中的局部 - 全局时空变换器

    提出了一种名为 LOGO-Former 的本地全局时空 Transformer，用于解决人脸表情识别中长期依赖问题，将本地和全局特征结合起来，在两个野外人脸表情数据集上取得了有效的识别性能。

    May, 2023

  • 用金字塔交叉融合的 Transformer 网络进行面部表情识别

    本文提出了一个名为 POSTER 的 Pyramid Cross-fusion Transformer 网络，通过 transformer-based cross-fusion paradigm 解决 Facial Expression Recognition 中的 inter-class similarity、intra-class discrepancy 和 scale sensitivity 问题，并且采用金字塔结构实现了尺度不变性，在 RAF-DB、FERPlus 和 AffectNet 测试集上均取得了优于 SOTA 的结果。

    Apr, 2022

  • 卷积神经网络 - Transformer 融合网络与变化检测的关联

    RCTNet 通过引入早期融合骨干网络、交叉阶段聚合模块、多尺度特征融合模块和高效自译注意力模块，以在准确变动检测中捕捉全局信息和细微细节，展示了相对传统遥感图像变动检测方法的明显优势，实现了准确性和计算成本之间的最佳平衡。

    Jul, 2024

  • 利用深度神经网络深入进行面部表情识别

    提出了一种深度神经网络构架，可在多个公共面部数据库上进行面部表情识别，并且在精度和训练时间上优于传统卷积神经网络和现有方法。

    Nov, 2015