Jun, 2023

可解释的多模态情感识别：利用面部特征和生理信号

PDF
TL;DR本文介绍了一种融合了多种多样信息的多模态框架，通过将来自视觉面部特征和视频输入中提取的 rPPG 信号的信息融合从而实现情感理解。基于排列特征重要性分析的解释性技术用于计算 rPPG 和视觉模态对将给定视频分类到特定情感类别的贡献。IEMOCAP 数据集上的实验表明，从多个模态组合的互补信息可以提高情感分类性能。
multimodal informationemotion recognitionvisual facial featuresrppg signalsinterpretability technique
发现论文，激发创造
  • 多模态潜在情绪识别：微表情与生理信号

    提出了一种结合多模态数据的新型多模态学习框架，旨在提高潜在情绪识别准确度，包括一维可分离和可混合的深度入手网络、标准化的正态分布加权特征融合方法以及深度 / 生理引导的注意力模块。实验结果表明，该方法优于基准方法，其中加权融合方法和引导注意力模块都对性能提升起到了贡献。

    Aug, 2023

  • 超复模态脑电和周边生理信号的情绪识别

    通过在超复数域中进行操作，该论文提出了一个带有新型融合模块的超复数多模态网络，实现了从生理信号中的分类情感识别，超越了多模态最先进的网络。

    Oct, 2023

  • 语音情感识别的实证研究与改进

    本文提出了一种通过视角损失来改进的多模态语音情感识别模型，通过融合音频和文本信息来提高多模态任务的性能表现，在 IEMOCAP 数据集上获得了最新的最佳表现。

    Apr, 2023

  • 面部表情和周边生理融合解码个体化情感体验

    本文提出了一种多模态方法，结合分析面部运动和多个外部生理信号，通过考虑个体化休息动态来解码正负情感体验。通过构建人体特征循环网络，解码个体面部运动和生理数据的动态耦合关系，并在其基础上训练推理模型，将个体的情感体验进行预测和验证。

    Nov, 2018

  • 基于生理信号的情感识别调查

    本文回顾了生理信号在情感识别中的作用，讨论了影响情感识别的数据方差、数据标注技术、数据预处理技术、数据拆分技术和多模态信息融合技术以及未来的发展方向。

    May, 2022

  • 使用预训练转换器进行文本、语音和视频的多模态情绪识别

    通过使用多模态感情识别方法和各种融合技术，本研究在 IEMOCAP 多模态数据集上实现了 75.42% 的准确率，主要关注多模态感情识别、自监督学习、迁移学习和 Transformer 模型。

    Feb, 2024

  • 基于多模态电生理多头注意力对比学习的情感识别

    我们提出一种基于自监督对比学习的多模式情感识别方法 ME-MHACL，通过从无标签的生物电信号中学习有意义的特征表示，并使用多头注意机制进行特征融合以提高识别性能。在 DEAP 和 MAHNOB-HCI 两个公开数据集上的实验结果表明，我们的方法在情感识别任务中表现优于现有基准方法，并具有良好的跨个体泛化能力。

    Jul, 2023

  • 使用视觉、音频和文本特征进行多模态话语级情感分析

    本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

    May, 2018

  • 基于深度多模态学习的口语情感识别

    本文提出了一种新颖的深度多模态框架，基于句子级别的口语语言预测人类情感，通过混合式的深度多模态结构从文本和音频中提取高级特征，再使用三层深度神经网络将所有特征融合起来进行训练，实现整个结构的最优全局微调，结果表明本文框架在 IEMOCAP 数据集上达到了 60.4% 的加权准确率。

    Feb, 2018

  • 多模态本地 - 全局排名融合情感识别

    研究了通过综合考虑人员独立和相对依赖角度进行情感识别的方法，该方法使用 Bayesian 排序算法推断全局相对情感排名，最终的情感识别是通过对直接预测和来自本地全局排序的相对情感排名的综合考虑而实现的。

    Aug, 2018