Mar, 2023

基于多模态数据的情绪反应强度估计

PDF
TL;DR本文介绍了我们在 CVPR 2023：Affective Behavior Analysis in-the-wild (ABAW) 第 5 次研讨会和比赛中进行情感反应强度 (ERI) 估计挑战的方法，通过基于多模态数据提取声学和视觉特征，提高了我们的模型表现能力，并使用 Transformer 编码器进行交叉模态关注机制，从而提高了与基线的 Pearson 相关系数。
发现论文，激发创造
  • 基于 Transformer 的视频情感反应强度估计和表达分类的多模态特征提取与融合

    本文论述了针对 ABAW2023 中的情感行为分析领域的两个子挑战 - 表情分类和情感反应强度评估的高级解决方案。该方案使用了多种模型和工具来提取多模态特征，并有效地处理分类中的挑战，从而显著提高了模型在多模态情况下的情感预测精度。在情感反应强度评估方面，我们的方法超过了基线方法 84％，并在验证数据集上取得了出色的结果。

    Mar, 2023

  • 基于双分支网络的情感反应强度估计

    本文提出了一种解决第五届野外情感行为分析（ABAW）中 Emotional Reaction Intensity（ERI）挑战的双分支基于多输出回归模型，利用空间关注更好地提取视觉特征，利用 Mel-Frequency Cepstral Coefficients 技术提取声学特征，并添加了一种名为模态丢失的融合多模态特征的方法，在官方验证集上取得了优秀的结果。

    Mar, 2023

  • 综合和局部信息的融合用于情感反应强度的估计

    提出了一种多模态架构，将视频和音频信息集成，可以测量情绪反应强度（ERI），具有较好的性能和跨情感的应用，可用于情感行为分析中的 ERI 估计挑战。

    May, 2023

  • 视频中多模态特征提取和基于注意力的融合情绪估计

    本文介绍了一个基于多模态的情感估计框架，通过提取比赛数据集中的不同长度的视频的多模态特征，包括音频、姿态和图像，确定情感趋势。该系统在验证数据集中达到 0.361 的性能。

    Mar, 2023

  • 音视情感模仿强度估计的高效特征提取和后期融合策略

    本文介绍了解决情感模仿强度（EMI）估计挑战的方法，该挑战是第六届野外情感行为分析竞赛（ABAW）的一部分。EMI 估计挑战任务旨在通过从预定义的情绪类别（即 “崇拜”，“娱乐”，“决心”，“共情痛苦”，“兴奋” 和 “喜悦”）中评估它们来评估种子视频的情感强度。

    Mar, 2024

  • 野外情感维度识别的联合多模态变压器

    通过使用多模态 Transformer 架构，全面利用视频中视觉和听觉模态之间的交互和内部依赖关系，以识别音频视觉表情和声音模式，该模型在 Affwild2 数据集上表现出优越性能。

    Mar, 2024

  • 通过整合多模态知识进行情感行为分析

    通过利用各种数据集和方法设计，我们可以在自然环境中全面评估情感行为分析技术的真实性和适用性，从而实现情感智能技术，使设备能像人类一样理解和反应我们的情感。

    Mar, 2024

  • M3ER：使用面部、文本和语音线索的乘法多模态情感识别

    提出了一种基于多个输入模态的学习方法 M3ER，旨在实现情绪识别，其采用数据驱动的乘积融合方法来结合来自多个模态的线索，抑制噪音，提高准确性，并取得了成功的实验验证。

    Nov, 2019

  • 基于多任务学习和多模态动态融合网络的语音情感识别

    本文提出了一种多模态多任务学习的情感识别方法，包括文本和声学模态的早期融合和自我注意力，使用动态融合网络用于语音编码器，得到了目前最先进的性能结果。

    Mar, 2022

  • 情感模仿预测的单模态多任务融合

    通过利用 Wav2Vec 2.0 框架进行语言和语音特征提取，以及 LSTM 架构对音频数据进行时序分析，本研究提出了一种在情感行为分析竞赛中对情感模仿强度进行估计的方法，取得了显著的改进。

    Mar, 2024