基于多任务学习的多情感描述符合集模型
本论文介绍了利用预训练的深度模型在静态照片上提取可靠情感特征的可能性,并通过多任务场景中的轻量级模型来识别面部表情、价值和唤起。实验结果表明,与现有的非集成技术相比,我们的方法显著提高了验证集上的质量指标。
Mar, 2024
本篇论文主要探究了利用多任务学习技术,在静态照片上进行面部表情、愉悦度和唤起度的识别。在使用合成数据学习的挑战中,MT-EmotiEffNet 模型的学习效果得到了显著提高,同时在预训练集和微调集上进行的预测结果也取得了优异表现。
Jul, 2022
本文介绍了一个基于多模态的情感估计框架,通过提取比赛数据集中的不同长度的视频的多模态特征,包括音频、姿态和图像,确定情感趋势。该系统在验证数据集中达到 0.361 的性能。
Mar, 2023
通过使用 Vision Transformer 和 Transformer 模型,该研究关注情感的 Valence-Arousal 估计、各种面部表情的识别和基础肌肉运动的动作元的检测,提出了一种基于 Transformer 的新框架来最大化对时间和空间特征的理解,并引入了基于随机帧遮罩的学习技术以及针对不平衡数据的 Focal 损失的应用,增强了情绪和行为分析在实际场景中的准确性和适用性,预计对情感计算和深度学习方法的发展有所助益。
Mar, 2024
本研究介绍了一种基于多模态特征和 Transformer 的统一框架,用于情感行为分析和表情识别任务,同时运用数据平衡和增强方法进一步提高模型性能。实验证明,该方法在 ABAW3 竞赛中在 EXPR 和 AU 方面排名第一。
Mar, 2022
本文介绍了第三届 ABAW 竞赛,该竞赛以自动情感分析为目标,并包括四个挑战:单任务价值 - 唤醒估计、单任务表情分类、单任务动作单元检测和多任务学习。在此基础上,我们概述了竞赛数据集、评估指标及基准系统。
Feb, 2022
本文提出一种利用视觉和音频信息的多模态和多任务学习方法来分析人类情感,使用 AU 和表情标注训练模型并应用序列模型提取视频帧之间的关联,实现了 0.712 的 AU 分数和 0.477 的表情分数,证明了该方法在提高模型性能方面的有效性。
Jul, 2021
本文提出了一种基于单个预训练 AffectNet 的 EfficientNet 模型提取面部特征的新颖的帧级情感识别算法,可以实现移动设备上的实时视频人脸情感分析,在第三届野外情感行为分析(ABAW)竞赛的大规模 Aff-Wild2 数据集上,与 VggFace 基线相比,我们的简单模型在单任务表情分类、趋势 - 觉醒估计和表情分类的验证集中的性能指标高 0.15-0.2,由于简单性,我们的方法可以被视为四个子挑战的新基准。
Mar, 2022