Mar, 2022

基于深度神经网络视频融合的面部表情分类 —— 第三届 ABAW3 竞赛

PDF
TL;DR本研究使用 Transformer 机制，结合鲁棒表示编码和表示融合进行表情分类，结果表明该模型在 Aff-Wild2 数据集上表现有效。
expression classificationhuman-computer interactiontransformer mechanismrobust representationaff-wild2 dataset
发现论文，激发创造
  • 基于 Transformer 的多模态信息融合用于面部表情分析

    本研究介绍了一种基于多模态特征和 Transformer 的统一框架，用于情感行为分析和表情识别任务，同时运用数据平衡和增强方法进一步提高模型性能。实验证明，该方法在 ABAW3 竞赛中在 EXPR 和 AU 方面排名第一。

    Mar, 2022

  • 第六届 ABAW 比赛中的 HSEmotion 团队：面部表情、情绪价值 - 唤醒度和情绪强度预测

    本论文介绍了利用预训练的深度模型在静态照片上提取可靠情感特征的可能性，并通过多任务场景中的轻量级模型来识别面部表情、价值和唤起。实验结果表明，与现有的非集成技术相比，我们的方法显著提高了验证集上的质量指标。

    Mar, 2024

  • 基于 Transformer 的视频情感反应强度估计和表达分类的多模态特征提取与融合

    本文论述了针对 ABAW2023 中的情感行为分析领域的两个子挑战 - 表情分类和情感反应强度评估的高级解决方案。该方案使用了多种模型和工具来提取多模态特征，并有效地处理分类中的挑战，从而显著提高了模型在多模态情况下的情感预测精度。在情感反应强度评估方面，我们的方法超过了基线方法 84％，并在验证数据集上取得了出色的结果。

    Mar, 2023

  • Swin Transformer 面部表情识别

    本论文通过引入 Swin transformer，提出一种融合视觉、时间和音频模态的多模态方法用于自然环境下的面部表情识别，并在 Aff-Wild2 数据集上进行了实验证明其有效性。

    Mar, 2022

  • 深情感：利用注意力卷积网络进行面部表情识别

    该文介绍了针对面部表情识别问题，提出了一种基于注意力卷积网络的深度学习方法，并采用可视化技术确定了识别不同情绪对应的重要面部区域，相比先前的模型在多个数据集上都取得了明显的改进。

    Feb, 2019

  • 使用掩码学习的 Transformer 情感识别

    通过使用 Vision Transformer 和 Transformer 模型，该研究关注情感的 Valence-Arousal 估计、各种面部表情的识别和基础肌肉运动的动作元的检测，提出了一种基于 Transformer 的新框架来最大化对时间和空间特征的理解，并引入了基于随机帧遮罩的学习技术以及针对不平衡数据的 Focal 损失的应用，增强了情绪和行为分析在实际场景中的准确性和适用性，预计对情感计算和深度学习方法的发展有所助益。

    Mar, 2024

  • 移动设备人脸表情、价值、唤起和动作单元的帧级预测

    本文提出了一种基于单个预训练 AffectNet 的 EfficientNet 模型提取面部特征的新颖的帧级情感识别算法，可以实现移动设备上的实时视频人脸情感分析，在第三届野外情感行为分析（ABAW）竞赛的大规模 Aff-Wild2 数据集上，与 VggFace 基线相比，我们的简单模型在单任务表情分类、趋势 - 觉醒估计和表情分类的验证集中的性能指标高 0.15-0.2，由于简单性，我们的方法可以被视为四个子挑战的新基准。

    Mar, 2022

  • 基于多任务学习的多情感描述符合集模型

    本文介绍我们在第四届野外情感行为分析竞赛中提交的方法，将提供的面部和面部周围背景的完整信息用于多任务学习挑战，使用 InceptionNet V3 模型提取深度特征，从而得出对情绪的分类和评估

    Jul, 2022

  • 第二届 ABAW2 比赛中用于多任务情感识别的先前辅助流网络

    该研究提出了一种利用多任务流网络和先进面部表情嵌入的方法，在面对不同的情感表示时，有效地进行情感自动识别。

    Jul, 2021

  • 基于混合模型的实时情绪识别与预测

    本研究提出了一种结合深度卷积神经网络（DCNN）和 Haar Cascade 深度学习架构的混合模型，用于将实时和数字面部图像分类到七种面部表情类别之一。实验结果表明，与其他模型相比，该架构在分类性能上具有显著优势，并且准确率高达 70％，执行时间短，为 2098.8 秒。

    Jun, 2022