CVPRMay, 2023

综合和局部信息的融合用于情感反应强度的估计

PDF
TL;DR提出了一种多模态架构，将视频和音频信息集成，可以测量情绪反应强度（ERI），具有较好的性能和跨情感的应用，可用于情感行为分析中的 ERI 估计挑战。
video-based emotional reaction intensitymulti-modal architecturegated recurrent unitstransformeraffective behavior analysis
发现论文，激发创造
  • 基于多模态数据的情绪反应强度估计

    本文介绍了我们在 CVPR 2023：Affective Behavior Analysis in-the-wild (ABAW) 第 5 次研讨会和比赛中进行情感反应强度 (ERI) 估计挑战的方法，通过基于多模态数据提取声学和视觉特征，提高了我们的模型表现能力，并使用 Transformer 编码器进行交叉模态关注机制，从而提高了与基线的 Pearson 相关系数。

    Mar, 2023

  • 基于 Transformer 的视频情感反应强度估计和表达分类的多模态特征提取与融合

    本文论述了针对 ABAW2023 中的情感行为分析领域的两个子挑战 - 表情分类和情感反应强度评估的高级解决方案。该方案使用了多种模型和工具来提取多模态特征，并有效地处理分类中的挑战，从而显著提高了模型在多模态情况下的情感预测精度。在情感反应强度评估方面，我们的方法超过了基线方法 84％，并在验证数据集上取得了出色的结果。

    Mar, 2023

  • 基于双分支网络的情感反应强度估计

    本文提出了一种解决第五届野外情感行为分析（ABAW）中 Emotional Reaction Intensity（ERI）挑战的双分支基于多输出回归模型，利用空间关注更好地提取视觉特征，利用 Mel-Frequency Cepstral Coefficients 技术提取声学特征，并添加了一种名为模态丢失的融合多模态特征的方法，在官方验证集上取得了优秀的结果。

    Mar, 2023

  • 野外情感维度识别的联合多模态变压器

    通过使用多模态 Transformer 架构，全面利用视频中视觉和听觉模态之间的交互和内部依赖关系，以识别音频视觉表情和声音模式，该模型在 Affwild2 数据集上表现出优越性能。

    Mar, 2024

  • 音视情感模仿强度估计的高效特征提取和后期融合策略

    本文介绍了解决情感模仿强度（EMI）估计挑战的方法，该挑战是第六届野外情感行为分析竞赛（ABAW）的一部分。EMI 估计挑战任务旨在通过从预定义的情绪类别（即 “崇拜”，“娱乐”，“决心”，“共情痛苦”，“兴奋” 和 “喜悦”）中评估它们来评估种子视频的情感强度。

    Mar, 2024

  • 音视频情感识别的细节增强的模态内外交互

    我们提出了一个基于详细增强的模态内部和模态间交互网络（DE-III）的音频 - 视觉情感识别方法，利用光流信息丰富视频的纹理细节以捕捉面部状态变化，进一步改进视频和音频的丰富性和可区分性，通过详细的定量评估，我们的模型在三个基准数据集上都超过了现有方法，适用于具体和连续情感识别。

    May, 2024

  • 基于多模态深度模型的电影情感反应预测

    本研究旨在开发和分析多模态模型，预测观众观看电影片段时的情感反应。研究发现，通过提取 RGB 帧和光流的特征以及音频中的各种低级描述符，采用深度神经网络模型来进行情感预测更为精确。其中，光流特征比 RGB 视频更加信息含量丰富，且音频特征的预测精度高于视频特征。

    Sep, 2019

  • 使用视觉、音频和文本特征进行多模态话语级情感分析

    本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

    May, 2018

  • 情感模仿预测的单模态多任务融合

    通过利用 Wav2Vec 2.0 框架进行语言和语音特征提取，以及 LSTM 架构对音频数据进行时序分析，本研究提出了一种在情感行为分析竞赛中对情感模仿强度进行估计的方法，取得了显著的改进。

    Mar, 2024

  • 视频中多模态特征提取和基于注意力的融合情绪估计

    本文介绍了一个基于多模态的情感估计框架，通过提取比赛数据集中的不同长度的视频的多模态特征，包括音频、姿态和图像，确定情感趋势。该系统在验证数据集中达到 0.361 的性能。

    Mar, 2023