May, 2024

多模态情绪阅读器：预训练模型增强跨主体情绪识别

PDF
TL;DR基于脑电图 (EEG) 的情绪识别引起了重要关注，在神经信号处理和情感计算等领域有了多样化的发展。然而，个体的独特脑解剖结构导致不可忽视的自然差异，在主题间情绪识别中存在挑战。为了克服这些限制，我们开发了一个基于预训练模型的多模式情绪识别器，利用脑信号建模和空间 - 时间注意机制来学习通用的脑电图表示，并在不同维度和模态中最大化功能的优势。广泛的公共数据集上的实验证明了情绪识别器在跨主题情绪识别任务中的卓越性能，优于现有方法。此外，该模型从注意力的角度进行了剖析，为神经信号处理领域的情感研究提供了有价值的洞察。
emotion recognitionelectroencephalographyeeg signalscross-subject emotion recognitionmultimodal information
发现论文，激发创造
  • 利用时空特征从 EEG 信号进行跨主体情感识别

    通过使用 EEG 信号和 CNN 层，本文提出了一种易于实现的情感识别模型，使用 DENS 数据集进行评估，并在情感极性评分上达到 73.04％的准确性。

    May, 2023

  • 基于多模态电生理多头注意力对比学习的情感识别

    我们提出一种基于自监督对比学习的多模式情感识别方法 ME-MHACL，通过从无标签的生物电信号中学习有意义的特征表示，并使用多头注意机制进行特征融合以提高识别性能。在 DEAP 和 MAHNOB-HCI 两个公开数据集上的实验结果表明，我们的方法在情感识别任务中表现优于现有基准方法，并具有良好的跨个体泛化能力。

    Jul, 2023

  • 超复模态脑电和周边生理信号的情绪识别

    通过在超复数域中进行操作，该论文提出了一个带有新型融合模块的超复数多模态网络，实现了从生理信号中的分类情感识别，超越了多模态最先进的网络。

    Oct, 2023

  • 利用迁移学习从 EEG 中进行情感检测

    本研究使用 Resnet50 作为基本模型和 Mean Phase Coherence（MPC）和 Magnitude Squared Coherence（MSC）的组合来识别情绪，结果表明该方法在情感分类方面很有前途。

    Jun, 2023

  • 通过跨模态情感嵌入训练加强单模态情感识别

    提出了一种名为 EmoBed 的跨模态情感嵌入框架，它旨在利用其他辅助模态的知识来提高情感识别系统的性能，该框架包括共享识别网络或共享情感嵌入空间的联合多模式训练和跨模态训练两个主要学习组件，实验证明该框架在情感识别方面具有明显的优势。

    Jul, 2019

  • 一种基于显著性特征融合的 EEG 情感估计模型

    本文提出了一种双模型方法，结合了基于序列的 EEG 幅值表示和基于图像的表示。采用基于显著性分析的图像模型，促进了两个模型部分的联合学习。在四个公开数据集上进行评估，结果表明本方法优于现有方法，在情感估计任务上取得了较高的稳定性。

    Jan, 2022

  • 基于情感计算的体验质量（QoE）预测的新方法

    提出了一种基于情感计算驱动的体验质量（QoE）预测的新模型，使用多通道脑电图（EEG），心电图（ECG）和呼吸数据训练深度学习模型，比较了模型的性能，并对最佳模型进行了优化以提高结果。

    Nov, 2023

  • 基于互相交叉注意机制的特征融合用于 EEG 情绪识别

    我们提出了一种名为 Mutual-Cross-Attention（MCA）的新颖有效的特征融合机制，结合特殊定制的 3D 卷积神经网络（3D-CNN），该方法巧妙地发现了 EEG 数据中时域和频域特征之间的互补关系，并且通过新设计的 Channel-PSD-DE 3D 特征在 DEAP 数据集上获得了 99.49%（愉悦度）和 99.30%（唤醒度）的准确率。

    Jun, 2024

  • 基于深度多模态学习的口语情感识别

    本文提出了一种新颖的深度多模态框架，基于句子级别的口语语言预测人类情感，通过混合式的深度多模态结构从文本和音频中提取高级特征，再使用三层深度神经网络将所有特征融合起来进行训练，实现整个结构的最优全局微调，结果表明本文框架在 IEMOCAP 数据集上达到了 60.4% 的加权准确率。

    Feb, 2018

  • 多模态生理信号的分层对比学习在抑郁症识别中的应用

    通过多模态生理信号的 Siamese 架构，通过多尺度对比，学习抑郁症识别的多模态生理信号的表示学习框架，能够提高对刺激任务相关的语义表示的学习，且在公开数据集和自收集的多模态生理信号数据集上优于现有模型，具备对多模态时序下游任务的迁移能力。

    Jun, 2024