Jan, 2023

基于 Transformer 的多尺度多模态微表情识别算法

PDF
TL;DR本文提出了一种基于 Transformer 网络的多模态多尺度算法，通过微表情的运动和纹理两种特征完全学习微表情的局部多粒度特征，实现了不同尺度脸部局部区域特征的提取并在三个自然数据集上进行了综合实验。结果表明，该算法在单个测量 SMIC 数据库中的准确度高达 78.73％，在合并数据库的 CASMEII 上的 F1 值高达 0.9071，处于领先水平。
micro-expressionfacial muscle movementmulti-modal multi-scale algorithmmotion featurestexture features
发现论文，激发创造
  • 基于属性信息嵌入和跨模态对比学习的微表情识别

    通过属性信息嵌入和跨模态对比学习，基于微表情序列的 RGB 和 FLOW 特征提取和 BERT 网络提取文本信息，实现面部微表情识别，并在 CASME II 和 MMEW 数据库上进行了广泛实验，准确率分别为 77.82% 和 71.04%。与其他方法相比，该方法具有更好的微表情识别效果。

    May, 2022

  • 基于多尺度 Transformer 网络的多生理信号情感识别

    本文提出了一种高效的基于多尺度 Transformer 的方法，用于从生理数据中识别情感，并且利用多模态技术和缩放数据建立内部身体信号与人类情感之间的关系。同时使用高斯变换技术优化信号编码效果，并在 EPiC 比赛的 CASE 数据集上取得了 RMSE 得分 1.45 的好成绩。

    May, 2023

  • 自适应位移生成和 Transformer 融合的微表情特征表示学习

    本论文提出了基于特征表示学习的位移生成和 Transformer 融合（FRL-DGT）的新框架，用于微表情（ME）识别，实现了对 ME 特征提取和融合的有效学习，相比现有的方法，有了更好的准确度。

    Apr, 2023

  • 多模态情感识别的多级 Transformer

    本文提出一种新的多层次转换器模型，将细粒度表示和预训练的话语级别表示相结合，结合不同的方法将音素级别嵌入与单词级别嵌入相结合，从而进行细粒度的多模式情感识别，最终在 IEMOCAP 数据集上，我们的模型均优于之前的最优方法。

    Oct, 2022

  • 宏观到微观：通过在宏观表情视频上进行预训练来提升微表情识别

    微表情识别是近年来备受关注的研究领域，在智能医学和骗术检测等方面具有潜在应用。然而，缺乏标注数据一直以来都是加强基于深度学习的微表情识别方法的主要障碍之一。本文提出了一种广义的转移学习范式，称为宏观表情到微表情（MA2MI）。在该范式下，网络可以通过重建未来帧来学习表示微妙的面部运动。此外，本文还提出了一种两支路微动作网络（MIACNet），用于解耦面部位置特征和面部动作特征，帮助网络更准确地定位面部动作位置。在三个常用的微表情识别基准上进行的大量实验证明了我们方法的优越性。

    May, 2024

  • 基于视频的面部微表情分析：数据集，特征和算法调查

    该研究论文系统概述了基于视频的微表情分析，讨论了其神经心理学基础、数据集、特征、算法、应用和评估，之后提出了一个更完整的、适用范围更广的数据集，并进行了方法比较和未来研究方向的展望。

    Jan, 2022

  • Micron-BERT：基于 BERT 的面部微表情识别

    本文提出了一种新的面部微表情识别方法 Micron-BERT，采用 Diagonal Micro-Attention 和 Patch of Interest 模块，在大规模无标注数据集上实现了高精度，并在 SAMM、CASME II、SMIC 和 CASME3 四个数据集上明显优于现有方法。

    Apr, 2023

  • 使用预训练转换器进行文本、语音和视频的多模态情绪识别

    通过使用多模态感情识别方法和各种融合技术，本研究在 IEMOCAP 多模态数据集上实现了 75.42% 的准确率，主要关注多模态感情识别、自监督学习、迁移学习和 Transformer 模型。

    Feb, 2024

  • HTNet 微表情识别

    面部表情与肌肉收缩相关，微表情识别中，肌肉运动通常是微妙的，对当前面部情感识别算法性能产生负面影响。本文提出了一种层次 Transformer 网络 (HTNet) 来识别关键的面部肌肉运动区域，通过局部时间特征和全局面部特征提取层组成。实验证明，该方法在四个公开的微表情数据集上优于以前的方法并提供了相关代码和模型。

    Jul, 2023

  • 多模态潜在情绪识别：微表情与生理信号

    提出了一种结合多模态数据的新型多模态学习框架，旨在提高潜在情绪识别准确度，包括一维可分离和可混合的深度入手网络、标准化的正态分布加权特征融合方法以及深度 / 生理引导的注意力模块。实验结果表明，该方法优于基准方法，其中加权融合方法和引导注意力模块都对性能提升起到了贡献。

    Aug, 2023