HSE-NN 队参加第四届 ABAW 比赛:多任务情感识别与学习合成图像
本论文介绍了利用预训练的深度模型在静态照片上提取可靠情感特征的可能性,并通过多任务场景中的轻量级模型来识别面部表情、价值和唤起。实验结果表明,与现有的非集成技术相比,我们的方法显著提高了验证集上的质量指标。
Mar, 2024
本文介绍我们在第四届野外情感行为分析竞赛中提交的方法,将提供的面部和面部周围背景的完整信息用于多任务学习挑战,使用 InceptionNet V3 模型提取深度特征,从而得出对情绪的分类和评估
Jul, 2022
本研究探讨轻量级卷积神经网络的多任务学习,用于识别人脸和分类面部属性(年龄,性别,种族),并在没有距离边缘的剪裁人脸上进行训练,需要微调这些网络以预测面部表情;使用 MobileNet、EfficientNet 和 RexNet 架构提出了几种模型,并在 UTKFace 数据集上证明了它们接近最新的年龄、性别和种族识别结果,在 AffectNet 数据集的情感分类上也表现出色;此外,展示了将已训练的模型用作视频帧中面部区域的特征提取器,其识别精度比以前已知的情感分类挑战的单一模型高 4.5%。
Mar, 2021
本文提出了一种基于单个预训练 AffectNet 的 EfficientNet 模型提取面部特征的新颖的帧级情感识别算法,可以实现移动设备上的实时视频人脸情感分析,在第三届野外情感行为分析(ABAW)竞赛的大规模 Aff-Wild2 数据集上,与 VggFace 基线相比,我们的简单模型在单任务表情分类、趋势 - 觉醒估计和表情分类的验证集中的性能指标高 0.15-0.2,由于简单性,我们的方法可以被视为四个子挑战的新基准。
Mar, 2022
通过调查音频和视觉深度学习方法,为非控制环境中的情绪识别问题提供有效的体系结构。使用基于微调的卷积神经网络(CNN)和公共维度情绪模型(PDEM)进行视频和音频模态的比较,并使用这些多阶段训练的模态特定的深度神经网络(DNN)的嵌入来比较替代的时间建模和融合策略。在 ABAW'24 挑战协议下,对 AffWild2 数据集进行了结果报告。
Mar, 2024
该研究论文讨论了 EmotioNet Challenge 2020 上的 AU 识别问题,并将其视为一项多任务学习问题,通过分别对非刚性面部肌肉运动(主要是前 17 个 AUs)和刚性头部运动(最后 6 个 AUs)进行建模。研究观察了表情特征和头部姿态特征的共现关系。通过选择最佳的检查点来进行 AU 识别,提高了识别结果,最终在验证集和测试集中获得了分别为 0.746 和 0.7306 的得分。
Apr, 2020
本篇论文介绍了在 2022 年欧洲计算机视觉会议 (ECCV) 期间举办的第四届情感行为分析比赛 (ABAW)。今年该比赛涵盖了两个不同的挑战:多任务学习和从合成数据学习,目标在于基于 Aff-Wild2 数据库自动分析情感表达,其中该数据库是一个大规模的野外数据库,具备对价值、唤醒度、表情和动作单位的注释,并通过 s-Aff-Wild2 数据库和人工合成数据集完成了情感识别的基础研究。
Jul, 2022
本文提出一种利用视觉和音频信息的多模态和多任务学习方法来分析人类情感,使用 AU 和表情标注训练模型并应用序列模型提取视频帧之间的关联,实现了 0.712 的 AU 分数和 0.477 的表情分数,证明了该方法在提高模型性能方面的有效性。
Jul, 2021