Apr, 2024

跨语料 EEG 情感识别的特征对齐联合对比学习

PDF
TL;DR本研究提出了一种新颖的联合对比学习框架与特征对齐模型（JCFA Model），用于解决跨语料库的基于脑电图（EEG）的情感识别问题。在两个主要阶段中，JCFA Model 通过联合领域对比学习策略，在无需标记数据的情况下，提取每个 EEG 样本的稳健的基于时间和频率的嵌入，并将其在共享的潜在时间 - 频率空间中进行对齐。随后，在与下游任务结合时，通过考虑脑电图电极之间的结构连接，进一步提高了模型的能力，适用于情感的检测和解读。大量的实验结果表明，所提出的 JCFA Model 在两个公认的情感数据集上实现了最先进的性能，其在跨语料库的 EEG 情感识别任务中的平均准确率提高了 4.09%。
发现论文，激发创造
  • 基于互相交叉注意机制的特征融合用于 EEG 情绪识别

    我们提出了一种名为 Mutual-Cross-Attention（MCA）的新颖有效的特征融合机制，结合特殊定制的 3D 卷积神经网络（3D-CNN），该方法巧妙地发现了 EEG 数据中时域和频域特征之间的互补关系，并且通过新设计的 Channel-PSD-DE 3D 特征在 DEAP 数据集上获得了 99.49%（愉悦度）和 99.30%（唤醒度）的准确率。

    Jun, 2024

  • 半监督双流自注意对抗图对比学习用于跨主体基于脑电的情绪识别

    本文提出了一种半监督的双流自我注意对抗性图对比学习框架 (DS-AGC)，用于解决跨受试者基于脑电图的情绪识别中标记数据不足的挑战，并通过多个实验表明该模型在不完整标签条件下优于现有方法，具有有效解决跨受试者基于脑电图的情绪识别中标签稀缺问题的效果。

    Aug, 2023

  • 通过融合时频和空间表示改善基于 EEG 的情感识别

    该研究结合多个表示，使用多领域关注机制和跨领域特征融合方法构建了脑电情感识别网络，实验证明该网络优于其他现有方法，并实现了最新技术水平。

    Mar, 2023

  • 基于多模态电生理多头注意力对比学习的情感识别

    我们提出一种基于自监督对比学习的多模式情感识别方法 ME-MHACL，通过从无标签的生物电信号中学习有意义的特征表示，并使用多头注意机制进行特征融合以提高识别性能。在 DEAP 和 MAHNOB-HCI 两个公开数据集上的实验结果表明，我们的方法在情感识别任务中表现优于现有基准方法，并具有良好的跨个体泛化能力。

    Jul, 2023

  • 基于知识驱动的 EEG 表示的跨视图对比学习

    本文提出了一种基于神经知识支持的 EEG 表示的知识驱动的跨视角对比学习框架 (KDC2)，该方法通过模拟头皮和神经视图来提取有效表示，应用不同视角的对比学习和增强方法来捕捉神经特征，并通过建模同源神经信息一致性理论来提取不变和互补的神经知识生成联合表示，实验结果表明该方法在不同的下游任务上优于现有方法，突出了神经知识支持的 EEG 表示在各种脑任务中的优越泛化能力。

    Sep, 2023

  • 一种基于显著性特征融合的 EEG 情感估计模型

    本文提出了一种双模型方法，结合了基于序列的 EEG 幅值表示和基于图像的表示。采用基于显著性分析的图像模型，促进了两个模型部分的联合学习。在四个公开数据集上进行评估，结果表明本方法优于现有方法，在情感估计任务上取得了较高的稳定性。

    Jan, 2022

  • 多模态情绪阅读器：预训练模型增强跨主体情绪识别

    基于脑电图 (EEG) 的情绪识别引起了重要关注，在神经信号处理和情感计算等领域有了多样化的发展。然而，个体的独特脑解剖结构导致不可忽视的自然差异，在主题间情绪识别中存在挑战。为了克服这些限制，我们开发了一个基于预训练模型的多模式情绪识别器，利用脑信号建模和空间 - 时间注意机制来学习通用的脑电图表示，并在不同维度和模态中最大化功能的优势。广泛的公共数据集上的实验证明了情绪识别器在跨主题情绪识别任务中的卓越性能，优于现有方法。此外，该模型从注意力的角度进行了剖析，为神经信号处理领域的情感研究提供了有价值的洞察。

    May, 2024

  • 语言和脑电图之间的跨领域对齐的实证探索

    本研究介绍了 MTAM（MultimodalTransformer Alignment Model）方法，通过引入规范化关系和 Wasserstein 距离等算法，实现了将语言和电生理信号转换为高级联合表示，提高了情感分析和关系检测精度，从而研究两者在表征层面的关系。

    Aug, 2022

  • 利用迁移学习从 EEG 中进行情感检测

    本研究使用 Resnet50 作为基本模型和 Mean Phase Coherence（MPC）和 Magnitude Squared Coherence（MSC）的组合来识别情绪，结果表明该方法在情感分类方面很有前途。

    Jun, 2023

  • 基于 EEG 和音乐特征的连续音乐情感识别融合

    本文研究了如何在音乐欣赏中通过脑电图和音乐特征相结合的多模态融合方法提高情感识别的准确性，结果表明多模态融合方法能够优于单一模态，并提出了未来融合研究的方向。

    Nov, 2016