Mar, 2024

利用掩模自编码器、时域卷积网络和转换器进行连续情感识别的自预训练强化

PDF
TL;DR本研究以人类情绪识别为核心，通过采用面部数据集上的 Masked Autoencoders (MAE) 预训练和 aff-wild2 数据集的微调，结合 Temporal Convolutional Network (TCN) 模块和 Transformer Encoder 模块，实现了对情绪的连续识别。
human emotion recognitionvalence-arousal estimation challengeexpression classification challengeaction unit detection challengecontinuous emotion recognition
发现论文，激发创造
  • 使用掩码学习的 Transformer 情感识别

    通过使用 Vision Transformer 和 Transformer 模型，该研究关注情感的 Valence-Arousal 估计、各种面部表情的识别和基础肌肉运动的动作元的检测，提出了一种基于 Transformer 的新框架来最大化对时间和空间特征的理解，并引入了基于随机帧遮罩的学习技术以及针对不平衡数据的 Focal 损失的应用，增强了情绪和行为分析在实际场景中的准确性和适用性，预计对情感计算和深度学习方法的发展有所助益。

    Mar, 2024

  • 面部表情识别的情感掩码自编码器与注意融合

    创新方法集成了自我监督学习方法 MAE-Face 和融合注意机制，用于情感分类，通过提取关键面部特征以增强模型性能，特别是在 ABAW 第六次竞赛中展示，并在 Aff-wild2 数据集上得到显著验证。

    Mar, 2024

  • 基于多任务学习的多情感描述符合集模型

    本文介绍我们在第四届野外情感行为分析竞赛中提交的方法，将提供的面部和面部周围背景的完整信息用于多任务学习挑战，使用 InceptionNet V3 模型提取深度特征，从而得出对情绪的分类和评估

    Jul, 2022

  • 从活动识别的角度进行情绪识别

    通过探索深度学习体系结构在持续情感识别方面的应用，我们提出了一种新颖的三流端到端深度学习回归流程，其中包含一个注意力机制，该机制是基于多个最先进的动作识别系统的子模块的一种组合设计。定量分析表明，所提出的模型优于情感识别和动作识别模型的多个标准基线。

    Mar, 2024

  • 第六届 ABAW 比赛中的 HSEmotion 团队：面部表情、情绪价值 - 唤醒度和情绪强度预测

    本论文介绍了利用预训练的深度模型在静态照片上提取可靠情感特征的可能性，并通过多任务场景中的轻量级模型来识别面部表情、价值和唤起。实验结果表明，与现有的非集成技术相比，我们的方法显著提高了验证集上的质量指标。

    Mar, 2024

  • 在时间连续的多模态情感识别中容纳缺失的模态

    提出了一种基于 Transformer 的架构，用于识别情绪的正性和负性，即使输入模态缺失，该模型通过交叉关注和自关注机制强调模态之间的关系，提高了对弱显著输入的学习过程，并在 Ul-TSST 数据集上实验，与后期融合基准方法相比，预测唤醒值的一致性相关系数的评估提高了 37％，预测价值的一致性相关系数的评估提高了 30%。

    Nov, 2023

  • 移动设备人脸表情、价值、唤起和动作单元的帧级预测

    本文提出了一种基于单个预训练 AffectNet 的 EfficientNet 模型提取面部特征的新颖的帧级情感识别算法，可以实现移动设备上的实时视频人脸情感分析，在第三届野外情感行为分析（ABAW）竞赛的大规模 Aff-Wild2 数据集上，与 VggFace 基线相比，我们的简单模型在单任务表情分类、趋势 - 觉醒估计和表情分类的验证集中的性能指标高 0.15-0.2，由于简单性，我们的方法可以被视为四个子挑战的新基准。

    Mar, 2022

  • 第二届 ABAW2 比赛中用于多任务情感识别的先前辅助流网络

    该研究提出了一种利用多任务流网络和先进面部表情嵌入的方法，在面对不同的情感表示时，有效地进行情感自动识别。

    Jul, 2021

  • 基于 Transformer 的多模态信息融合用于面部表情分析

    本研究介绍了一种基于多模态特征和 Transformer 的统一框架，用于情感行为分析和表情识别任务，同时运用数据平衡和增强方法进一步提高模型性能。实验证明，该方法在 ABAW3 竞赛中在 EXPR 和 AU 方面排名第一。

    Mar, 2022

  • 基于 Transformer 的视频情感反应强度估计和表达分类的多模态特征提取与融合

    本文论述了针对 ABAW2023 中的情感行为分析领域的两个子挑战 - 表情分类和情感反应强度评估的高级解决方案。该方案使用了多种模型和工具来提取多模态特征，并有效地处理分类中的挑战，从而显著提高了模型在多模态情况下的情感预测精度。在情感反应强度评估方面，我们的方法超过了基线方法 84％，并在验证数据集上取得了出色的结果。

    Mar, 2023