MMAug, 2020

基于融合音乐和电皮肤活动信号的高效多模态大规模情感识别框架

PDF
TL;DR本研究采用凸优化的 EDA 方法将情绪识别中所需的动态和稳态特征分离，提出了一种融合了个体 EDA 特征和外部音乐特征的一维残余时间和通道注意力网络的多模态框架，证明其比现有模型更有效。
发现论文，激发创造
  • 基于 EEG 和音乐特征的连续音乐情感识别融合

    本文研究了如何在音乐欣赏中通过脑电图和音乐特征相结合的多模态融合方法提高情感识别的准确性，结果表明多模态融合方法能够优于单一模态，并提出了未来融合研究的方向。

    Nov, 2016

  • 超复模态脑电和周边生理信号的情绪识别

    通过在超复数域中进行操作，该论文提出了一个带有新型融合模块的超复数多模态网络，实现了从生理信号中的分类情感识别，超越了多模态最先进的网络。

    Oct, 2023

  • 基于互相交叉注意机制的特征融合用于 EEG 情绪识别

    我们提出了一种名为 Mutual-Cross-Attention（MCA）的新颖有效的特征融合机制，结合特殊定制的 3D 卷积神经网络（3D-CNN），该方法巧妙地发现了 EEG 数据中时域和频域特征之间的互补关系，并且通过新设计的 Channel-PSD-DE 3D 特征在 DEAP 数据集上获得了 99.49%（愉悦度）和 99.30%（唤醒度）的准确率。

    Jun, 2024

  • 基于混合多模态融合的情感维度识别

    本研究使用德语说话者的 Ulm-TSST 数据集，通过使用音频 - 视觉记录和生物信号特征来预测情绪唤醒和价值评估的水平，利用 LSTM 和自我注意机制来捕捉其复杂的时序依赖关系，并借助迟到融合策略进一步提高其识别性能。

    Oct, 2021

  • 基于多模态电生理多头注意力对比学习的情感识别

    我们提出一种基于自监督对比学习的多模式情感识别方法 ME-MHACL，通过从无标签的生物电信号中学习有意义的特征表示，并使用多头注意机制进行特征融合以提高识别性能。在 DEAP 和 MAHNOB-HCI 两个公开数据集上的实验结果表明，我们的方法在情感识别任务中表现优于现有基准方法，并具有良好的跨个体泛化能力。

    Jul, 2023

  • 基于多尺度 Transformer 网络的多生理信号情感识别

    本文提出了一种高效的基于多尺度 Transformer 的方法，用于从生理数据中识别情感，并且利用多模态技术和缩放数据建立内部身体信号与人类情感之间的关系。同时使用高斯变换技术优化信号编码效果，并在 EPiC 比赛的 CASE 数据集上取得了 RMSE 得分 1.45 的好成绩。

    May, 2023

  • 多模态情绪阅读器：预训练模型增强跨主体情绪识别

    基于脑电图 (EEG) 的情绪识别引起了重要关注，在神经信号处理和情感计算等领域有了多样化的发展。然而，个体的独特脑解剖结构导致不可忽视的自然差异，在主题间情绪识别中存在挑战。为了克服这些限制，我们开发了一个基于预训练模型的多模式情绪识别器，利用脑信号建模和空间 - 时间注意机制来学习通用的脑电图表示，并在不同维度和模态中最大化功能的优势。广泛的公共数据集上的实验证明了情绪识别器在跨主题情绪识别任务中的卓越性能，优于现有方法。此外，该模型从注意力的角度进行了剖析，为神经信号处理领域的情感研究提供了有价值的洞察。

    May, 2024

  • 情感模仿预测的单模态多任务融合

    通过利用 Wav2Vec 2.0 框架进行语言和语音特征提取，以及 LSTM 架构对音频数据进行时序分析，本研究提出了一种在情感行为分析竞赛中对情感模仿强度进行估计的方法，取得了显著的改进。

    Mar, 2024

  • 基于主成分分析和基于树的模型的实时脑电情绪识别模型

    本文提出一种整合技术和促进人文学科教学方法发展的解决方案，通过在沉浸式空间内整合情感监测，开发了实时情感检测的脑电波系统，以创造综合和沉浸式学习环境。

    Jan, 2024

  • 基于多模态数据的情绪反应强度估计

    本文介绍了我们在 CVPR 2023：Affective Behavior Analysis in-the-wild (ABAW) 第 5 次研讨会和比赛中进行情感反应强度 (ERI) 估计挑战的方法，通过基于多模态数据提取声学和视觉特征，提高了我们的模型表现能力，并使用 Transformer 编码器进行交叉模态关注机制，从而提高了与基线的 Pearson 相关系数。

    Mar, 2023