May, 2023

LOGO-Former: 动态面部表情识别中的局部 - 全局时空变换器

PDF
TL;DR提出了一种名为 LOGO-Former 的本地全局时空 Transformer，用于解决人脸表情识别中长期依赖问题，将本地和全局特征结合起来，在两个野外人脸表情数据集上取得了有效的识别性能。
facial expression recognitionconvolutional neural networkstransformer-based methodslogo-formerspatio-temporal
发现论文，激发创造
  • DualFormer：面向高效视频识别的分层局部全局 Transformer

    本文提出了一种新型的 Transformer 架构 DualFormer 用于视频识别，此架构可以有效地处理空间 - 时间关注，能够捕捉短距离和长距离的时空依赖关系，并通过本地 - 全局层次划分策略显著减少注意力计算中的关键值个数，从而提高效率并在五个视频基准测试上验证了 DualFormer 的优越性能。

    Dec, 2021

  • 动态面部表情识别中激励视觉 - 语言模型

    该论文介绍了一种名为 DFER-CLIP 的新型视觉语言模型，它基于 CLIP 模型，用于野外动态面部表情识别 (DFER)。该模型包括视觉部分和文本部分，通过提取时序面部表情特征和学习上下文信息，实现了与当前监督 DFER 方法相比的最先进结果。

    Aug, 2023

  • 从静态到动态：针对视频中面部表情识别的适应性地标感知图像模型

    通过静态 - 动态模型 (S2D) 结合面部标志感知特征和基于情感锚点的自蒸馏损失函数，提高了动态面部表情识别性能并达到了最先进水平。

    Dec, 2023

  • MSSTNet：用于动态面部表情识别的多尺度时空卷积 - 变换网络

    通过提出多尺度时空 CNN-Transformer 网络（MSSTNet），本研究在人脸动态表情识别领域中取得了最先进的结果，该方法利用多尺度空间和时间信息实现了对面部表情的准确分类。

    Apr, 2024

  • MAE-DFER：自监督动态面部表情识别的高效掩模自编码器

    MAE-DFER 是一种新型的自监督方法，它通过大规模无标签数据的自监督预训练来推动 DFER 的发展，同时采用效率高的局部全局交互 Transformer 编码器，以及明确的面部动作建模，可以学习到强大的动态面部表征。

    Jul, 2023

  • 基于卷积神经网络和条件随机场的时空面部表情识别

    本文提出了一种基于深度卷积神经网络和条件随机场模型的视频面部表情识别方法，该模型从面部图像中提取空间信息和视频帧之间的时间关系，并在三个公共数据库上进行了实验证明，该模型在跨数据库实验中表现出色，并在主体独立实验中获得与现有模型相当的成果。

    Mar, 2017

  • DWFormer: 动态窗口变换器用于语音情感识别

    本研究提出了一种基于动态窗口的变压器架构 DWFormer，通过自注意机制动态划分样本窗口，捕捉语音本地的精细的时间重要信息，并考虑窗口间的全局信息交互，实现了在情感识别方面的前沿突破。

    Mar, 2023

  • DrFER：学习面部表情三维识别的解耦表示

    创新的 DrFER 方法在 3D 人脸领域引入了概念上的解缠表示学习方法，通过使用双分支框架，有效地将表情信息与身份信息解耦，并通过重新配置损失函数和网络结构适应于点云数据，从而提高了框架在识别面部表情方面的能力，即使在涉及不同头部姿势的情况下，经过对 BU-3DFE 和 Bosphorus 数据集进行的广泛评估表明，DrFER 超过了其他 3D FER 方法的性能。

    Mar, 2024

  • FaceFormer：基于 Transformer 的语音驱动 3D 面部动画

    提出了一种基于 Transformer 的自回归模型，称为 FaceFormer，用于声控 3D 面部动画。该模型能够对长时间音频上下文进行编码，并自回归预测一系列动画 3D 面网格。通过自监督预训练语音表示，使得该模型能够成功解决数据稀缺问题。同时，设计了两种有偏的注意机制，并进行为这个特定任务进行优化。大量实验证明，该方法优于现有的最先进技术。

    Dec, 2021

  • 利用深度神经网络深入进行面部表情识别

    提出了一种深度神经网络构架，可在多个公共面部数据库上进行面部表情识别，并且在精度和训练时间上优于传统卷积神经网络和现有方法。

    Nov, 2015