May, 2024

宏观到微观：通过在宏观表情视频上进行预训练来提升微表情识别

PDF
TL;DR微表情识别是近年来备受关注的研究领域，在智能医学和骗术检测等方面具有潜在应用。然而，缺乏标注数据一直以来都是加强基于深度学习的微表情识别方法的主要障碍之一。本文提出了一种广义的转移学习范式，称为宏观表情到微表情（MA2MI）。在该范式下，网络可以通过重建未来帧来学习表示微妙的面部运动。此外，本文还提出了一种两支路微动作网络（MIACNet），用于解耦面部位置特征和面部动作特征，帮助网络更准确地定位面部动作位置。在三个常用的微表情识别基准上进行的大量实验证明了我们方法的优越性。
发现论文，激发创造
  • 元学习引导的微表情识别

    提出了一种名为 LightmanNet 的双分支元辅助学习方法，用于快速和鲁棒的微表情识别，通过双分支双层优化过程，从有限数据中学习一般的微表情识别知识，进一步改进了模型的泛化和效率。

    Apr, 2024

  • Micron-BERT：基于 BERT 的面部微表情识别

    本文提出了一种新的面部微表情识别方法 Micron-BERT，采用 Diagonal Micro-Attention 和 Patch of Interest 模块，在大规模无标注数据集上实现了高精度，并在 SAMM、CASME II、SMIC 和 CASME3 四个数据集上明显优于现有方法。

    Apr, 2023

  • 基于属性信息嵌入和跨模态对比学习的微表情识别

    通过属性信息嵌入和跨模态对比学习，基于微表情序列的 RGB 和 FLOW 特征提取和 BERT 网络提取文本信息，实现面部微表情识别，并在 CASME II 和 MMEW 数据库上进行了广泛实验，准确率分别为 77.82% 和 71.04%。与其他方法相比，该方法具有更好的微表情识别效果。

    May, 2022

  • 基于视频的面部微表情分析：数据集，特征和算法调查

    该研究论文系统概述了基于视频的微表情分析，讨论了其神经心理学基础、数据集、特征、算法、应用和评估，之后提出了一个更完整的、适用范围更广的数据集，并进行了方法比较和未来研究方向的展望。

    Jan, 2022

  • 基于 Transformer 的多尺度多模态微表情识别算法

    本文提出了一种基于 Transformer 网络的多模态多尺度算法，通过微表情的运动和纹理两种特征完全学习微表情的局部多粒度特征，实现了不同尺度脸部局部区域特征的提取并在三个自然数据集上进行了综合实验。结果表明，该算法在单个测量 SMIC 数据库中的准确度高达 78.73％，在合并数据库的 CASMEII 上的 F1 值高达 0.9071，处于领先水平。

    Jan, 2023

  • 使用深度学习识别面部微表情的人物识别

    本研究旨在探究面部微表情作为软生物识别的有效性并提出一种深度学习的方法来提高其在人体识别方面的应用，实验结果显示该方法与现有的基准相比，可以显著提高识别准确性。

    Jun, 2023

  • MIMAMO Net：将微运动和宏运动整合在一起的视频情感识别模型

    本文提出了一种称为 MIMAMO（Micro-Macro-Motion）网络的双流递归网络，将微动作和宏动作特征相结合，以改进视频情感识别，并在两个视频情感数据集上实现了最先进的性能。

    Nov, 2019

  • 基于面部先验的微表情生成的一阶动作模型

    通过运动模式驱动目标面部生成微表情视频，使用 CASME II、SAMM 和 SMIC 数据集训练的模型在 Facial Micro-Expression Challenge 2021 中获得第一名，并由三位拥有面部动作编码系统认证的专家验证了其卓越的性能。

    Aug, 2023

  • 微动作识别基准：数据集、方法和应用

    该研究提出了一个用于微动作识别的基准测试集 Micro-action-52（MA-52）和微动作网络（MANet），通过收集全面的微动作线索来解决微动作的识别和理解问题，并展示了该方法在情感识别方面的应用价值。

    Mar, 2024

  • 基于图卷积网络的微表情关系建模与识别（MER-GCN）

    本研究提出了一种新的端到端 AU 导向的图分类网络，使用深度学习技术和 GCN 层探测 AUs 之间的依赖关系，以识别微表情，实验结果表明我们的方法优于 CNN-based。

    Apr, 2020