Jul, 2024

基于多架构编码器和特征融合的面部情感识别——ABAW7挑战赛

HTML
PDF
TL;DR本文介绍了我们在第七次 ABAW 比赛中应对挑战的方法。比赛包括三个子挑战：情绪价值（VA）估计、表情（Expr）分类和动作单元（AU）检测。为了解决这些挑战，我们采用了先进的模型来提取强大的视觉特征。随后，我们利用 Transformer 编码器来整合这些特征，用于 VA、Expr 和 AU 子挑战。为了减轻特征尺寸变化的影响，我们引入了一个仿射模块，将特征对齐到一个公共维度。总体上，我们的结果明显优于基线。
发现论文，激发创造
  • ABAW: 情感价值评估、表情识别、动作单元检测和多任务学习挑战

    本文介绍了第三届ABAW竞赛，该竞赛以自动情感分析为目标，并包括四个挑战：单任务价值-唤醒估计、单任务表情分类、单任务动作单元检测和多任务学习。在此基础上，我们概述了竞赛数据集、评估指标及基准系统。

    Feb, 2022

  • 基于Transformer的多模态信息融合用于面部表情分析

    本研究介绍了一种基于多模态特征和 Transformer 的统一框架，用于情感行为分析和表情识别任务，同时运用数据平衡和增强方法进一步提高模型性能。实验证明，该方法在 ABAW3 竞赛中在 EXPR 和 AU 方面排名第一。

    Mar, 2022

  • 移动设备人脸表情、价值、唤起和动作单元的帧级预测

    本文提出了一种基于单个预训练AffectNet的EfficientNet模型提取面部特征的新颖的帧级情感识别算法，可以实现移动设备上的实时视频人脸情感分析，在第三届野外情感行为分析（ABAW）竞赛的大规模Aff-Wild2数据集上，与VggFace基线相比，我们的简单模型在单任务表情分类、趋势-觉醒估计和表情分类的验证集中的性能指标高0.15-0.2，由于简单性，我们的方法可以被视为四个子挑战的新基准。

    Mar, 2022

  • ABAW：情感价值-唤醒评估，表情识别，行为单位检测和情感反应强度评估挑战

    本文介绍了于CVPR 2023会议举办的第五届Affective Behavior Analysis in-the-wild (ABAW) Competition，其中包括四个挑战，使用了两个数据集，分别是Aff-Wild2 database和Hume-Reaction dataset，这些挑战包括单任务的情感估计、表情分类、动作单位检测和情绪反应强度估计。

    Mar, 2023

  • 通过整合多模态知识进行情感行为分析

    通过利用各种数据集和方法设计，我们可以在自然环境中全面评估情感行为分析技术的真实性和适用性，从而实现情感智能技术，使设备能像人类一样理解和反应我们的情感。

    Mar, 2024

  • 利用掩模自编码器、时域卷积网络和转换器进行连续情感识别的自预训练强化

    本研究以人类情绪识别为核心，通过采用面部数据集上的Masked Autoencoders (MAE)预训练和aff-wild2数据集的微调，结合Temporal Convolutional Network (TCN)模块和Transformer Encoder模块，实现了对情绪的连续识别。

    Mar, 2024

  • 第六届ABAW比赛中的HSEmotion团队：面部表情、情绪价值-唤醒度和情绪强度预测

    本论文介绍了利用预训练的深度模型在静态照片上提取可靠情感特征的可能性，并通过多任务场景中的轻量级模型来识别面部表情、价值和唤起。实验结果表明，与现有的非集成技术相比，我们的方法显著提高了验证集上的质量指标。

    Mar, 2024

  • 使用掩码学习的Transformer情感识别

    通过使用Vision Transformer和Transformer模型，该研究关注情感的Valence-Arousal估计、各种面部表情的识别和基础肌肉运动的动作元的检测，提出了一种基于Transformer的新框架来最大化对时间和空间特征的理解，并引入了基于随机帧遮罩的学习技术以及针对不平衡数据的Focal损失的应用，增强了情绪和行为分析在实际场景中的准确性和适用性，预计对情感计算和深度学习方法的发展有所助益。

    Mar, 2024

  • 通过双向注意力混合特征网络提升面部表情识别技术：应用于第七届ABAW挑战

    利用双向注意力混合特征网络进行多任务面部表情识别，我们在第七届ECCV ABAW挑战赛中取得了远远超过多任务ABAW挑战赛基线的结果，并展示了该网络同时处理多任务的能力，提供了其设计理念的见解。

    Jul, 2024

  • 第7届ABAW挑战赛上的HSEmotion团队：多任务学习与复合面部表情识别

    基于多任务学习的面部表情识别、情绪价值-唤醒估计的轻量级神经网络方法，结合高斯或滑动窗口平滑处理以提高准确性和关联系数。

    Jul, 2024