May, 2022

基于属性信息嵌入和跨模态对比学习的微表情识别

PDF
TL;DR通过属性信息嵌入和跨模态对比学习，基于微表情序列的 RGB 和 FLOW 特征提取和 BERT 网络提取文本信息，实现面部微表情识别，并在 CASME II 和 MMEW 数据库上进行了广泛实验，准确率分别为 77.82% 和 71.04%。与其他方法相比，该方法具有更好的微表情识别效果。
facial micro-expressionsrecognitionattribute information embeddingcross-modal contrastive learningcasme ii
发现论文，激发创造
  • 基于视频的面部微表情分析：数据集，特征和算法调查

    该研究论文系统概述了基于视频的微表情分析，讨论了其神经心理学基础、数据集、特征、算法、应用和评估，之后提出了一个更完整的、适用范围更广的数据集，并进行了方法比较和未来研究方向的展望。

    Jan, 2022

  • 宏观到微观：通过在宏观表情视频上进行预训练来提升微表情识别

    微表情识别是近年来备受关注的研究领域，在智能医学和骗术检测等方面具有潜在应用。然而，缺乏标注数据一直以来都是加强基于深度学习的微表情识别方法的主要障碍之一。本文提出了一种广义的转移学习范式，称为宏观表情到微表情（MA2MI）。在该范式下，网络可以通过重建未来帧来学习表示微妙的面部运动。此外，本文还提出了一种两支路微动作网络（MIACNet），用于解耦面部位置特征和面部动作特征，帮助网络更准确地定位面部动作位置。在三个常用的微表情识别基准上进行的大量实验证明了我们方法的优越性。

    May, 2024

  • 基于 Transformer 的多尺度多模态微表情识别算法

    本文提出了一种基于 Transformer 网络的多模态多尺度算法，通过微表情的运动和纹理两种特征完全学习微表情的局部多粒度特征，实现了不同尺度脸部局部区域特征的提取并在三个自然数据集上进行了综合实验。结果表明，该算法在单个测量 SMIC 数据库中的准确度高达 78.73％，在合并数据库的 CASMEII 上的 F1 值高达 0.9071，处于领先水平。

    Jan, 2023

  • 使用深度学习识别面部微表情的人物识别

    本研究旨在探究面部微表情作为软生物识别的有效性并提出一种深度学习的方法来提高其在人体识别方面的应用，实验结果显示该方法与现有的基准相比，可以显著提高识别准确性。

    Jun, 2023

  • Micron-BERT：基于 BERT 的面部微表情识别

    本文提出了一种新的面部微表情识别方法 Micron-BERT，采用 Diagonal Micro-Attention 和 Patch of Interest 模块，在大规模无标注数据集上实现了高精度，并在 SAMM、CASME II、SMIC 和 CASME3 四个数据集上明显优于现有方法。

    Apr, 2023

  • 用于识别自发微表情的时空循环卷积神经网络

    本研究提出了一种利用深度循环卷积神经网络进行微表情识别的方法，该方法能够捕捉微表情序列的时空变化，相对于现有的其他方法，该方法表现更为优异。

    Jan, 2019

  • 自适应位移生成和 Transformer 融合的微表情特征表示学习

    本论文提出了基于特征表示学习的位移生成和 Transformer 融合（FRL-DGT）的新框架，用于微表情（ME）识别，实现了对 ME 特征提取和融合的有效学习，相比现有的方法，有了更好的准确度。

    Apr, 2023

  • 元学习引导的微表情识别

    提出了一种名为 LightmanNet 的双分支元辅助学习方法，用于快速和鲁棒的微表情识别，通过双分支双层优化过程，从有限数据中学习一般的微表情识别知识，进一步改进了模型的泛化和效率。

    Apr, 2024

  • 基于轻量级神经网络的多任务学习的面部表情和属性识别

    本研究探讨轻量级卷积神经网络的多任务学习，用于识别人脸和分类面部属性（年龄，性别，种族），并在没有距离边缘的剪裁人脸上进行训练，需要微调这些网络以预测面部表情；使用 MobileNet、EfficientNet 和 RexNet 架构提出了几种模型，并在 UTKFace 数据集上证明了它们接近最新的年龄、性别和种族识别结果，在 AffectNet 数据集的情感分类上也表现出色；此外，展示了将已训练的模型用作视频帧中面部区域的特征提取器，其识别精度比以前已知的情感分类挑战的单一模型高 4.5％。

    Mar, 2021

  • 自适应时间动作引导的图卷积网络用于微表情识别

    提出了一种名为自适应时间运动引导图卷积网络（ATM-GCN）的微表情识别框架，该框架在整个剪辑中捕获帧之间的时间依赖关系，从而增强了剪辑级别的微表情识别能力。实验证明，ATM-GCN 不仅在 Composite 数据集上超过现有的最先进方法，而且在最新的微表情数据集 CAS (ME)$^3$ 上也取得了卓越的性能。

    Jun, 2024