一种多任务学习与生成框架:情感价值 - 唤起度、动作单位和基本表情
本文介绍了利用深度学习方法对情感进行分析与识别的相关研究,以及在真实情境下(in-the-wild)数据上进行大规模情感分析所需深度神经网络的架构设计,并提出了一种基于多任务学习和整体框架的方法,通过改进现有的情感识别技术来提高情感识别效果。
Mar, 2021
这篇文章介绍了 Aff-Wild2 这一大型野外数据库,以进行情感识别,通过 CNN 和 CNN-RNN 架构的视觉和音频模型,实现了情感识别任务的最先进性能,并使用 ArcFace 损失函数训练各种新的网络,并取得较与现有技术相比,更好的效果
Sep, 2019
本文提出了一种基于单个预训练 AffectNet 的 EfficientNet 模型提取面部特征的新颖的帧级情感识别算法,可以实现移动设备上的实时视频人脸情感分析,在第三届野外情感行为分析(ABAW)竞赛的大规模 Aff-Wild2 数据集上,与 VggFace 基线相比,我们的简单模型在单任务表情分类、趋势 - 觉醒估计和表情分类的验证集中的性能指标高 0.15-0.2,由于简单性,我们的方法可以被视为四个子挑战的新基准。
Mar, 2022
利用扩展的 Aff-Wild 数据集和联合卷积 - 循环神经网络构架,本文分别在特定数据库和跨数据库实验中,发掘了这一神经网络模型对情感识别和分析中的应用前景,并引用了情感范畴的简述模型 circumplex model 进行表述。
Nov, 2018
本文提出一种利用视觉和音频信息的多模态和多任务学习方法来分析人类情感,使用 AU 和表情标注训练模型并应用序列模型提取视频帧之间的关联,实现了 0.712 的 AU 分数和 0.477 的表情分数,证明了该方法在提高模型性能方面的有效性。
Jul, 2021
本文介绍了一种基于视觉信号的深度神经网络自动识别情感的方法,提出了适用于情感识别算法训练和评估的 Aff-Wild Benchmark,以及使用这一数据库 achieving best performances both for dimensional, as well as categorical emotion recognition,成为情感识别领域的最好表现之一。
Apr, 2018
本文介绍了第三届 ABAW 竞赛,该竞赛以自动情感分析为目标,并包括四个挑战:单任务价值 - 唤醒估计、单任务表情分类、单任务动作单元检测和多任务学习。在此基础上,我们概述了竞赛数据集、评估指标及基准系统。
Feb, 2022
本论文介绍了利用预训练的深度模型在静态照片上提取可靠情感特征的可能性,并通过多任务场景中的轻量级模型来识别面部表情、价值和唤起。实验结果表明,与现有的非集成技术相比,我们的方法显著提高了验证集上的质量指标。
Mar, 2024
本文提出了一种新的方法,用于合成面部情感,接受中性 2D 人脸图像、基本面部表情或 VA 头像建议,以及 2D VA 空间中的路径作为输入,采用 3D 可变模型,对中性人脸图像进行形变和添加颜色,使生成的面孔带有特定情感,用于数据增强和深度神经网络的联调。
Nov, 2018