Mar, 2024

音视情感模仿强度估计的高效特征提取和后期融合策略

PDF
TL;DR本文介绍了解决情感模仿强度（EMI）估计挑战的方法，该挑战是第六届野外情感行为分析竞赛（ABAW）的一部分。EMI 估计挑战任务旨在通过从预定义的情绪类别（即 “崇拜”，“娱乐”，“决心”，“共情痛苦”，“兴奋” 和 “喜悦”）中评估它们来评估种子视频的情感强度。
发现论文，激发创造
  • 情感模仿预测的单模态多任务融合

    通过利用 Wav2Vec 2.0 框架进行语言和语音特征提取，以及 LSTM 架构对音频数据进行时序分析，本研究提出了一种在情感行为分析竞赛中对情感模仿强度进行估计的方法，取得了显著的改进。

    Mar, 2024

  • 基于 Transformer 的视频情感反应强度估计和表达分类的多模态特征提取与融合

    本文论述了针对 ABAW2023 中的情感行为分析领域的两个子挑战 - 表情分类和情感反应强度评估的高级解决方案。该方案使用了多种模型和工具来提取多模态特征，并有效地处理分类中的挑战，从而显著提高了模型在多模态情况下的情感预测精度。在情感反应强度评估方面，我们的方法超过了基线方法 84％，并在验证数据集上取得了出色的结果。

    Mar, 2023

  • 基于多模态数据的情绪反应强度估计

    本文介绍了我们在 CVPR 2023：Affective Behavior Analysis in-the-wild (ABAW) 第 5 次研讨会和比赛中进行情感反应强度 (ERI) 估计挑战的方法，通过基于多模态数据提取声学和视觉特征，提高了我们的模型表现能力，并使用 Transformer 编码器进行交叉模态关注机制，从而提高了与基线的 Pearson 相关系数。

    Mar, 2023

  • 通过整合多模态知识进行情感行为分析

    通过利用各种数据集和方法设计，我们可以在自然环境中全面评估情感行为分析技术的真实性和适用性，从而实现情感智能技术，使设备能像人类一样理解和反应我们的情感。

    Mar, 2024

  • 视频中多模态特征提取和基于注意力的融合情绪估计

    本文介绍了一个基于多模态的情感估计框架，通过提取比赛数据集中的不同长度的视频的多模态特征，包括音频、姿态和图像，确定情感趋势。该系统在验证数据集中达到 0.361 的性能。

    Mar, 2023

  • 基于双分支网络的情感反应强度估计

    本文提出了一种解决第五届野外情感行为分析（ABAW）中 Emotional Reaction Intensity（ERI）挑战的双分支基于多输出回归模型，利用空间关注更好地提取视觉特征，利用 Mel-Frequency Cepstral Coefficients 技术提取声学特征，并添加了一种名为模态丢失的融合多模态特征的方法，在官方验证集上取得了优秀的结果。

    Mar, 2023

  • 综合和局部信息的融合用于情感反应强度的估计

    提出了一种多模态架构，将视频和音频信息集成，可以测量情绪反应强度（ERI），具有较好的性能和跨情感的应用，可用于情感行为分析中的 ERI 估计挑战。

    May, 2023

  • SUN 团队在 ABAW 2024 竞赛中的贡献：音频视觉的情感倾向与表达识别

    通过调查音频和视觉深度学习方法，为非控制环境中的情绪识别问题提供有效的体系结构。使用基于微调的卷积神经网络（CNN）和公共维度情绪模型（PDEM）进行视频和音频模态的比较，并使用这些多阶段训练的模态特定的深度神经网络（DNN）的嵌入来比较替代的时间建模和融合策略。在 ABAW'24 挑战协议下，对 AffWild2 数据集进行了结果报告。

    Mar, 2024

  • 基于多任务学习的多情感描述符合集模型

    本文介绍我们在第四届野外情感行为分析竞赛中提交的方法，将提供的面部和面部周围背景的完整信息用于多任务学习挑战，使用 InceptionNet V3 模型提取深度特征，从而得出对情绪的分类和评估

    Jul, 2022

  • EmotiW 2018: 音视频、学生参与和小组层面情感预测

    EmotiW 是 ACM 国际多模态交互会议上的第六次情感识别大挑战，为情感计算社区中的研究人员提供了一个共同平台，在野外数据上对他们的算法进行基准测试。

    Aug, 2018