Jun, 2024

自适应时间动作引导的图卷积网络用于微表情识别

PDF
TL;DR提出了一种名为自适应时间运动引导图卷积网络（ATM-GCN）的微表情识别框架，该框架在整个剪辑中捕获帧之间的时间依赖关系，从而增强了剪辑级别的微表情识别能力。实验证明，ATM-GCN 不仅在 Composite 数据集上超过现有的最先进方法，而且在最新的微表情数据集 CAS (ME)$^3$ 上也取得了卓越的性能。
micro-expressionsrecognitionadaptive temporal motion guided graph convolution networktemporal dependenciescas(me)$^3$ dataset
发现论文，激发创造
  • 多尺度时空图卷积网络用于面部表情检测

    本文提出了一种用于面部表情识别的多尺度时空图卷积网络 (SpoT-GCN)，通过接受域自适应滑窗策略提取更稳健的动态特征，并通过面部图形表示将微妙的动态特征转换为学习到的时空图模式，并使用提出的面部局部图池化 (FLGP) 从多个尺度的面部图结构中学习局部和全局特征，此外，引入了有监督对比学习来增强模型对难以分类的帧的区分能力。在 SAMM-LV 和 CAS (ME)^2 数据集上的实验结果表明，我们的方法在微表情识别方面达到了最先进的性能，消融研究进一步验证了我们提出的模块的有效性。

    Mar, 2024

  • 用于识别自发微表情的时空循环卷积神经网络

    本研究提出了一种利用深度循环卷积神经网络进行微表情识别的方法，该方法能够捕捉微表情序列的时空变化，相对于现有的其他方法，该方法表现更为优异。

    Jan, 2019

  • ICE-GAN: 基于图推理的身份感知和胶囊增强型 GAN 用于微表情识别与合成

    本文提出了一种基于生成对抗网络的方法 (ICE-GAN)，加入微表情合成作为辅助任务以辅助微表情的自动识别，并在微表情相关挑战赛中获得了比冠军高出 12.9% 的成绩。

    May, 2020

  • 基于图卷积网络的微表情关系建模与识别（MER-GCN）

    本研究提出了一种新的端到端 AU 导向的图分类网络，使用深度学习技术和 GCN 层探测 AUs 之间的依赖关系，以识别微表情，实验结果表明我们的方法优于 CNN-based。

    Apr, 2020

  • 基于属性信息嵌入和跨模态对比学习的微表情识别

    通过属性信息嵌入和跨模态对比学习，基于微表情序列的 RGB 和 FLOW 特征提取和 BERT 网络提取文本信息，实现面部微表情识别，并在 CASME II 和 MMEW 数据库上进行了广泛实验，准确率分别为 77.82% 和 71.04%。与其他方法相比，该方法具有更好的微表情识别效果。

    May, 2022

  • MIMAMO Net：将微运动和宏运动整合在一起的视频情感识别模型

    本文提出了一种称为 MIMAMO（Micro-Macro-Motion）网络的双流递归网络，将微动作和宏动作特征相结合，以改进视频情感识别，并在两个视频情感数据集上实现了最先进的性能。

    Nov, 2019

  • 自适应位移生成和 Transformer 融合的微表情特征表示学习

    本论文提出了基于特征表示学习的位移生成和 Transformer 融合（FRL-DGT）的新框架，用于微表情（ME）识别，实现了对 ME 特征提取和融合的有效学习，相比现有的方法，有了更好的准确度。

    Apr, 2023

  • 宏观到微观：通过在宏观表情视频上进行预训练来提升微表情识别

    微表情识别是近年来备受关注的研究领域，在智能医学和骗术检测等方面具有潜在应用。然而，缺乏标注数据一直以来都是加强基于深度学习的微表情识别方法的主要障碍之一。本文提出了一种广义的转移学习范式，称为宏观表情到微表情（MA2MI）。在该范式下，网络可以通过重建未来帧来学习表示微妙的面部运动。此外，本文还提出了一种两支路微动作网络（MIACNet），用于解耦面部位置特征和面部动作特征，帮助网络更准确地定位面部动作位置。在三个常用的微表情识别基准上进行的大量实验证明了我们方法的优越性。

    May, 2024

  • OFF-ApexNet 微表情识别系统

    本文介绍了一个使用卷积神经网络、optical flow features 等技术来实现面部情感微表情识别的方法，并在三个数据库上进行了全面的评估，结果表明该方法在识别微小的情感细节方面表现优越。

    May, 2018

  • 基于 Transformer 的多尺度多模态微表情识别算法

    本文提出了一种基于 Transformer 网络的多模态多尺度算法，通过微表情的运动和纹理两种特征完全学习微表情的局部多粒度特征，实现了不同尺度脸部局部区域特征的提取并在三个自然数据集上进行了综合实验。结果表明，该算法在单个测量 SMIC 数据库中的准确度高达 78.73％，在合并数据库的 CASMEII 上的 F1 值高达 0.9071，处于领先水平。

    Jan, 2023