Jul, 2023

基于多模态电生理多头注意力对比学习的情感识别

PDF
TL;DR我们提出一种基于自监督对比学习的多模式情感识别方法 ME-MHACL，通过从无标签的生物电信号中学习有意义的特征表示，并使用多头注意机制进行特征融合以提高识别性能。在 DEAP 和 MAHNOB-HCI 两个公开数据集上的实验结果表明，我们的方法在情感识别任务中表现优于现有基准方法，并具有良好的跨个体泛化能力。
emotion recognitionmultimodal electrophysiological signalsme-mhaclself-supervised contrastive learningmulti-head attention mechanisms
发现论文，激发创造
  • 超复模态脑电和周边生理信号的情绪识别

    通过在超复数域中进行操作，该论文提出了一个带有新型融合模块的超复数多模态网络，实现了从生理信号中的分类情感识别，超越了多模态最先进的网络。

    Oct, 2023

  • 多模态情绪阅读器：预训练模型增强跨主体情绪识别

    基于脑电图 (EEG) 的情绪识别引起了重要关注，在神经信号处理和情感计算等领域有了多样化的发展。然而，个体的独特脑解剖结构导致不可忽视的自然差异，在主题间情绪识别中存在挑战。为了克服这些限制，我们开发了一个基于预训练模型的多模式情绪识别器，利用脑信号建模和空间 - 时间注意机制来学习通用的脑电图表示，并在不同维度和模态中最大化功能的优势。广泛的公共数据集上的实验证明了情绪识别器在跨主题情绪识别任务中的卓越性能，优于现有方法。此外，该模型从注意力的角度进行了剖析，为神经信号处理领域的情感研究提供了有价值的洞察。

    May, 2024

  • 多模态潜在情绪识别：微表情与生理信号

    提出了一种结合多模态数据的新型多模态学习框架，旨在提高潜在情绪识别准确度，包括一维可分离和可混合的深度入手网络、标准化的正态分布加权特征融合方法以及深度 / 生理引导的注意力模块。实验结果表明，该方法优于基准方法，其中加权融合方法和引导注意力模块都对性能提升起到了贡献。

    Aug, 2023

  • 多模态生理信号的分层对比学习在抑郁症识别中的应用

    通过多模态生理信号的 Siamese 架构，通过多尺度对比，学习抑郁症识别的多模态生理信号的表示学习框架，能够提高对刺激任务相关的语义表示的学习，且在公开数据集和自收集的多模态生理信号数据集上优于现有模型，具备对多模态时序下游任务的迁移能力。

    Jun, 2024

  • 基于互相交叉注意机制的特征融合用于 EEG 情绪识别

    我们提出了一种名为 Mutual-Cross-Attention（MCA）的新颖有效的特征融合机制，结合特殊定制的 3D 卷积神经网络（3D-CNN），该方法巧妙地发现了 EEG 数据中时域和频域特征之间的互补关系，并且通过新设计的 Channel-PSD-DE 3D 特征在 DEAP 数据集上获得了 99.49%（愉悦度）和 99.30%（唤醒度）的准确率。

    Jun, 2024

  • 基于图对比学习的双阶段多模态情感识别模型

    我们提出了一种基于图形对比学习的两阶段情感识别模型（TS-GCL），通过将多模态数据与其他结构引入图形对比学习（GCL）策略，来学习模态内部和模态之间的相似性和差异性，并且通过两次使用 MLP 来实现最终的情感分类，实验证明，TS-GCL 在 IEMOCAP 和 MELD 数据集上相对于以往的方法具有卓越性能。

    Jan, 2024

  • 基于自监督分组半月板对比学习的基于脑电的情绪识别

    本文提出了基于 SGMC 自监督分组减数对比学习框架的方法，采用 Meiosis 数据增强技术对基于同一情感视频刺激的人群 EEG 信号进行提取特征，使用对比学习来最大化不同组之间相似性，并在 DEAP 和 SEED 数据集上取得高准确性，同时有效地解决了有限标签的问题。

    Jul, 2022

  • 利用迁移学习从 EEG 中进行情感检测

    本研究使用 Resnet50 作为基本模型和 Mean Phase Coherence（MPC）和 Magnitude Squared Coherence（MSC）的组合来识别情绪，结果表明该方法在情感分类方面很有前途。

    Jun, 2023

  • 基于语音的多模态情感识别中的学习对齐

    本文提出使用注意力机制学习语音帧和文本单词之间的对齐方法，以提高音频 - 文本多模态情感识别的准确性，并在 IEMOCAP 数据集上取得了最先进的性能。

    Sep, 2019

  • 一种基于显著性特征融合的 EEG 情感估计模型

    本文提出了一种双模型方法，结合了基于序列的 EEG 幅值表示和基于图像的表示。采用基于显著性分析的图像模型，促进了两个模型部分的联合学习。在四个公开数据集上进行评估，结果表明本方法优于现有方法，在情感估计任务上取得了较高的稳定性。

    Jan, 2022