Mar, 2023

基于双分支网络的情感反应强度估计

PDF
TL;DR本文提出了一种解决第五届野外情感行为分析（ABAW）中 Emotional Reaction Intensity（ERI）挑战的双分支基于多输出回归模型，利用空间关注更好地提取视觉特征，利用 Mel-Frequency Cepstral Coefficients 技术提取声学特征，并添加了一种名为模态丢失的融合多模态特征的方法，在官方验证集上取得了优秀的结果。
emotional reaction intensitymultimodal scenariosabawvisual featuresacoustic features
发现论文，激发创造
  • 基于多模态数据的情绪反应强度估计

    本文介绍了我们在 CVPR 2023：Affective Behavior Analysis in-the-wild (ABAW) 第 5 次研讨会和比赛中进行情感反应强度 (ERI) 估计挑战的方法，通过基于多模态数据提取声学和视觉特征，提高了我们的模型表现能力，并使用 Transformer 编码器进行交叉模态关注机制，从而提高了与基线的 Pearson 相关系数。

    Mar, 2023

  • 基于 Transformer 的视频情感反应强度估计和表达分类的多模态特征提取与融合

    本文论述了针对 ABAW2023 中的情感行为分析领域的两个子挑战 - 表情分类和情感反应强度评估的高级解决方案。该方案使用了多种模型和工具来提取多模态特征，并有效地处理分类中的挑战，从而显著提高了模型在多模态情况下的情感预测精度。在情感反应强度评估方面，我们的方法超过了基线方法 84％，并在验证数据集上取得了出色的结果。

    Mar, 2023

  • 综合和局部信息的融合用于情感反应强度的估计

    提出了一种多模态架构，将视频和音频信息集成，可以测量情绪反应强度（ERI），具有较好的性能和跨情感的应用，可用于情感行为分析中的 ERI 估计挑战。

    May, 2023

  • 基于多任务学习和多模态动态融合网络的语音情感识别

    本文提出了一种多模态多任务学习的情感识别方法，包括文本和声学模态的早期融合和自我注意力，使用动态融合网络用于语音编码器，得到了目前最先进的性能结果。

    Mar, 2022

  • 通过整合多模态知识进行情感行为分析

    通过利用各种数据集和方法设计，我们可以在自然环境中全面评估情感行为分析技术的真实性和适用性，从而实现情感智能技术，使设备能像人类一样理解和反应我们的情感。

    Mar, 2024

  • 音视情感模仿强度估计的高效特征提取和后期融合策略

    本文介绍了解决情感模仿强度（EMI）估计挑战的方法，该挑战是第六届野外情感行为分析竞赛（ABAW）的一部分。EMI 估计挑战任务旨在通过从预定义的情绪类别（即 “崇拜”，“娱乐”，“决心”，“共情痛苦”，“兴奋” 和 “喜悦”）中评估它们来评估种子视频的情感强度。

    Mar, 2024

  • 野外情感维度识别的联合多模态变压器

    通过使用多模态 Transformer 架构，全面利用视频中视觉和听觉模态之间的交互和内部依赖关系，以识别音频视觉表情和声音模式，该模型在 Affwild2 数据集上表现出优越性能。

    Mar, 2024

  • 通过多模式关联估计弥合情感语义差距

    研究了多模态情感识别中不同模态表达的语义相关性，并提出了一种多模态相关性估计网络，能够有效地捕捉相关语义，特别是对于模态语义的大偏差具有较好的效果。

    Feb, 2023

  • 一种基于显著性特征融合的 EEG 情感估计模型

    本文提出了一种双模型方法，结合了基于序列的 EEG 幅值表示和基于图像的表示。采用基于显著性分析的图像模型，促进了两个模型部分的联合学习。在四个公开数据集上进行评估，结果表明本方法优于现有方法，在情感估计任务上取得了较高的稳定性。

    Jan, 2022

  • 基于知识感知的多模态情感识别贝叶斯共同关注

    该研究提出了使用贝叶斯注意力模块（BAM）来增强来自不同模态的预先训练模型的协同注意力融合，以有效融入外部情感相关知识以学习情感相关知识，实验证明该方法能够超过最先进方法至少 0.7 个百分点的准确度。

    Feb, 2023