通过整合多模态知识进行情感行为分析
本文提出一种利用视觉和音频信息的多模态和多任务学习方法来分析人类情感,使用 AU 和表情标注训练模型并应用序列模型提取视频帧之间的关联,实现了 0.712 的 AU 分数和 0.477 的表情分数,证明了该方法在提高模型性能方面的有效性。
Jul, 2021
本文介绍了第六届野外情感行为分析 (Affect Behavior Analysis in-the-wild, ABAW) 竞赛,该竞赛是 IEEE CVPR 2024 大会举办的研讨会的一部分。该竞赛致力于理解人类情感和行为等当代挑战,对人类中心技术的发展至关重要。具体来说,竞赛关注情感相关的基准任务,包括估计两个连续情感维度(情感价值和唤醒度)、识别七种基本表情和其他表情、检测 12 个动作单元、识别七种互斥复合表情以及估计六个连续情感维度的情感模仿强度。本文介绍了这些挑战,描述了相应的数据集和挑战协议(包括评估指标),并呈现了基准系统及其表现结果。竞赛的更多信息可在 https://affective-behavior-analysis-in-the-wild.github.io/6th 上找到。
Feb, 2024
本研究介绍了一种基于多模态特征和 Transformer 的统一框架,用于情感行为分析和表情识别任务,同时运用数据平衡和增强方法进一步提高模型性能。实验证明,该方法在 ABAW3 竞赛中在 EXPR 和 AU 方面排名第一。
Mar, 2022
本文介绍了我们提交到 ABAW 2020 竞赛的两条流声音视觉分析模型来识别视频中的情感行为。该模型分别处理音频和图像流,并使用卷积神经网络进行分析,同时使用人脸对齐期间提取的附加功能。在训练期间,利用不同情感表达之间的相关性来提高性能。通过在 Aff-Wild2 数据库上的实验,我们的模型取得了有希望的结果。
Feb, 2020
本文介绍了于 CVPR 2023 会议举办的第五届 Affective Behavior Analysis in-the-wild (ABAW) Competition,其中包括四个挑战,使用了两个数据集,分别是 Aff-Wild2 database 和 Hume-Reaction dataset,这些挑战包括单任务的情感估计、表情分类、动作单位检测和情绪反应强度估计。
Mar, 2023
本文论述了针对 ABAW2023 中的情感行为分析领域的两个子挑战 - 表情分类和情感反应强度评估的高级解决方案。该方案使用了多种模型和工具来提取多模态特征,并有效地处理分类中的挑战,从而显著提高了模型在多模态情况下的情感预测精度。在情感反应强度评估方面,我们的方法超过了基线方法 84%,并在验证数据集上取得了出色的结果。
Mar, 2023
这篇论文介绍了 Affective Behavior Analysis in-the-wild (ABAW) 2020 Competition,它是第一个旨在自动分析情感行为的比赛,分为三个挑战,分别是估计情感价值 - 唤醒、基本表情识别和动作单元检测。其中,Aff-Wild2 是一个大规模的真实环境数据库,是第一个为所有这三项任务注释的数据库。
Jan, 2020
本文介绍了第三届 ABAW 竞赛,该竞赛以自动情感分析为目标,并包括四个挑战:单任务价值 - 唤醒估计、单任务表情分类、单任务动作单元检测和多任务学习。在此基础上,我们概述了竞赛数据集、评估指标及基准系统。
Feb, 2022