第六届 ABAW 比赛中的 HSEmotion 团队:面部表情、情绪价值 - 唤醒度和情绪强度预测
本文提出了一种基于单个预训练 AffectNet 的 EfficientNet 模型提取面部特征的新颖的帧级情感识别算法,可以实现移动设备上的实时视频人脸情感分析,在第三届野外情感行为分析(ABAW)竞赛的大规模 Aff-Wild2 数据集上,与 VggFace 基线相比,我们的简单模型在单任务表情分类、趋势 - 觉醒估计和表情分类的验证集中的性能指标高 0.15-0.2,由于简单性,我们的方法可以被视为四个子挑战的新基准。
Mar, 2022
本篇论文主要探究了利用多任务学习技术,在静态照片上进行面部表情、愉悦度和唤起度的识别。在使用合成数据学习的挑战中,MT-EmotiEffNet 模型的学习效果得到了显著提高,同时在预训练集和微调集上进行的预测结果也取得了优异表现。
Jul, 2022
本文介绍了于 CVPR 2023 会议举办的第五届 Affective Behavior Analysis in-the-wild (ABAW) Competition,其中包括四个挑战,使用了两个数据集,分别是 Aff-Wild2 database 和 Hume-Reaction dataset,这些挑战包括单任务的情感估计、表情分类、动作单位检测和情绪反应强度估计。
Mar, 2023
本文介绍我们在第四届野外情感行为分析竞赛中提交的方法,将提供的面部和面部周围背景的完整信息用于多任务学习挑战,使用 InceptionNet V3 模型提取深度特征,从而得出对情绪的分类和评估
Jul, 2022
本文介绍了第三届 ABAW 竞赛,该竞赛以自动情感分析为目标,并包括四个挑战:单任务价值 - 唤醒估计、单任务表情分类、单任务动作单元检测和多任务学习。在此基础上,我们概述了竞赛数据集、评估指标及基准系统。
Feb, 2022
本研究介绍了一种基于多模态特征和 Transformer 的统一框架,用于情感行为分析和表情识别任务,同时运用数据平衡和增强方法进一步提高模型性能。实验证明,该方法在 ABAW3 竞赛中在 EXPR 和 AU 方面排名第一。
Mar, 2022
通过调查音频和视觉深度学习方法,为非控制环境中的情绪识别问题提供有效的体系结构。使用基于微调的卷积神经网络(CNN)和公共维度情绪模型(PDEM)进行视频和音频模态的比较,并使用这些多阶段训练的模态特定的深度神经网络(DNN)的嵌入来比较替代的时间建模和融合策略。在 ABAW'24 挑战协议下,对 AffWild2 数据集进行了结果报告。
Mar, 2024
本研究使用 Transformer 机制,结合鲁棒表示编码和表示融合进行表情分类,结果表明该模型在 Aff-Wild2 数据集上表现有效。
Mar, 2022
本文介绍了第六届野外情感行为分析 (Affect Behavior Analysis in-the-wild, ABAW) 竞赛,该竞赛是 IEEE CVPR 2024 大会举办的研讨会的一部分。该竞赛致力于理解人类情感和行为等当代挑战,对人类中心技术的发展至关重要。具体来说,竞赛关注情感相关的基准任务,包括估计两个连续情感维度(情感价值和唤醒度)、识别七种基本表情和其他表情、检测 12 个动作单元、识别七种互斥复合表情以及估计六个连续情感维度的情感模仿强度。本文介绍了这些挑战,描述了相应的数据集和挑战协议(包括评估指标),并呈现了基准系统及其表现结果。竞赛的更多信息可在 https://affective-behavior-analysis-in-the-wild.github.io/6th 上找到。
Feb, 2024