CVPRMar, 2022

移动设备人脸表情、价值、唤起和动作单元的帧级预测

PDF
TL;DR本文提出了一种基于单个预训练 AffectNet 的 EfficientNet 模型提取面部特征的新颖的帧级情感识别算法，可以实现移动设备上的实时视频人脸情感分析，在第三届野外情感行为分析（ABAW）竞赛的大规模 Aff-Wild2 数据集上，与 VggFace 基线相比，我们的简单模型在单任务表情分类、趋势 - 觉醒估计和表情分类的验证集中的性能指标高 0.15-0.2，由于简单性，我们的方法可以被视为四个子挑战的新基准。
facial emotion analyticsfacial expression recognitionefficientnetaffectnetreal-time video
发现论文，激发创造
  • 第六届 ABAW 比赛中的 HSEmotion 团队：面部表情、情绪价值 - 唤醒度和情绪强度预测

    本论文介绍了利用预训练的深度模型在静态照片上提取可靠情感特征的可能性，并通过多任务场景中的轻量级模型来识别面部表情、价值和唤起。实验结果表明，与现有的非集成技术相比，我们的方法显著提高了验证集上的质量指标。

    Mar, 2024

  • 野外情感分析：愉悦度 - 唤起度、表情、动作单元和统一框架

    本文介绍了利用深度学习方法对情感进行分析与识别的相关研究，以及在真实情境下（in-the-wild）数据上进行大规模情感分析所需深度神经网络的架构设计，并提出了一种基于多任务学习和整体框架的方法，通过改进现有的情感识别技术来提高情感识别效果。

    Mar, 2021

  • 一种多任务学习与生成框架：情感价值 - 唤起度、动作单位和基本表情

    本论文针对情感分析的各个领域进行了研究，提出了基于神经网络的多任务学习方法，该方法有效地应用于 Aff-Wild 情感数据库的新注释部分并实现了良好的性能。

    Nov, 2018

  • 第二届 ABAW2 比赛中用于多任务情感识别的先前辅助流网络

    该研究提出了一种利用多任务流网络和先进面部表情嵌入的方法，在面对不同的情感表示时，有效地进行情感自动识别。

    Jul, 2021

  • 基于多任务学习的多情感描述符合集模型

    本文介绍我们在第四届野外情感行为分析竞赛中提交的方法，将提供的面部和面部周围背景的完整信息用于多任务学习挑战，使用 InceptionNet V3 模型提取深度特征，从而得出对情绪的分类和评估

    Jul, 2022

  • 基于 Transformer 的多模态信息融合用于面部表情分析

    本研究介绍了一种基于多模态特征和 Transformer 的统一框架，用于情感行为分析和表情识别任务，同时运用数据平衡和增强方法进一步提高模型性能。实验证明，该方法在 ABAW3 竞赛中在 EXPR 和 AU 方面排名第一。

    Mar, 2022

  • 从活动识别的角度进行情绪识别

    通过探索深度学习体系结构在持续情感识别方面的应用，我们提出了一种新颖的三流端到端深度学习回归流程，其中包含一个注意力机制，该机制是基于多个最先进的动作识别系统的子模块的一种组合设计。定量分析表明，所提出的模型优于情感识别和动作识别模型的多个标准基线。

    Mar, 2024

  • 面部动作单元识别的深层结构推理网络

    本文提出了一种基于深度神经网络的面部表情识别算法，通过学习局部和全局特征，以及类似于图推理方法的消息传递算法，显著提高了在 BP4D 和 DISFA 数据集上的表现。

    Mar, 2018

  • EmotioNet 挑战：在野外识别面部情感表达

    本文介绍了 EmotioNet 挑战的方法和结果，其中第一项挑战测试了当前计算机视觉算法在自动检测表情动作单元（AU）方面的能力，第二项挑战测试了算法在面部表情图像的情感分类方面的能力，研究表明当前机器学习算法在这两个任务中无法可靠地解决问题，计算机视觉算法在检测动作单元时的效果比检测情感分类时的效果要好。

    Mar, 2017

  • 基于 CNN 的移动设备面部情感分析

    该研究旨在设计、部署和评估应用于移动设备的基于卷积神经网络（CNN）的面部情感分析架构，通过提出三种 CNN 架构并在野外基准面部图像数据集上进行比较评估，发现这些架构在保持较高性能的同时最小化存储需求，并且可以部署在基于移动设备上实时视频流上，同时还实现了基于预测用户情感的音乐推荐界面。

    Jul, 2018