May, 2023

面向 EEG 情感识别的时间感知混合注意力卷积及 Transformer 网络 (MACTN)

PDF
TL;DR提出了一种基于分层混合模型的情感识别方法 MACTN，该模型通过卷积神经网络 (CNN) 提取局部情感特征，通过 transformer 集成稀疏的全局情感特征，并利用通道注意机制识别最相关的通道，在实验中取得超过其他现有方法的分类准确度和 F1 分数，早期版本已赢得 2022 年世界机器人大赛情感 BCI 竞赛的决赛冠军。
emotion recognitionelectroencephalography (eeg)hierarchical hybrid modelconvolutional neural network (cnn)channel attention mechanisms
发现论文，激发创造
  • MASA-TCN: 多锚空间感知时序卷积神经网络用于连续与离散脑电情绪识别

    利用电脑辅助情感识别 (EEG) 的主要场景有两种：离散标签的分类和连续标签的回归。虽然有很多算法用于分类任务，但回归任务的方法却很少。对于情感回归，标签在时间上是连续的。一种自然的方法是学习时间动态模式。在以往的研究中，使用长短期记忆 (LSTM) 和时间卷积神经网络 (TCN) 从 EEG 的特征向量中学习时间上下文信息。然而，EEG 的空间模式没有被有效提取。为了使 TCN 能够更好地进行回归和分类任务，并学习空间关系，我们提出了一种名为 MASA-TCN 的新型统一模型。空间感知的时间层使得 TCN 能够在 EEG 电极之间额外学习空间关系。此外，我们还提出了一种新的具有注意力融合的多锚块来学习动态时间依赖关系。在两个公开可用的数据集上的实验结果表明，MASA-TCN 在 EEG 情感回归和分类任务上的结果比最先进的方法更高。代码可在此 https URL 找到。

    Aug, 2023

  • 基于互相交叉注意机制的特征融合用于 EEG 情绪识别

    我们提出了一种名为 Mutual-Cross-Attention（MCA）的新颖有效的特征融合机制，结合特殊定制的 3D 卷积神经网络（3D-CNN），该方法巧妙地发现了 EEG 数据中时域和频域特征之间的互补关系，并且通过新设计的 Channel-PSD-DE 3D 特征在 DEAP 数据集上获得了 99.49%（愉悦度）和 99.30%（唤醒度）的准确率。

    Jun, 2024

  • CIT-EmotionNet: 基于 CNN 和交互式 Transformer 网络的 EEG 情感识别

    本文提出了一种使用 CNN Interactive Transformer Network 的方法，将全局和局部特征有效地结合起来，以提高情感识别性能。该方法在两个公开数据集，SEED 和 SEED-IV 上表现出比现有方法更高的平均识别准确性 98.57％和 92.09％。

    May, 2023

  • 一种具有图平滑信号的混合时空注意力神经网络用于 EEG 情绪识别

    我们引入了一个深度神经网络用于情感分类，通过混合的时空编码和循环注意网络块获取可解释的生理学表示，并应用图信号处理工具对原始数据进行预处理以在空间域中进行图平滑。我们证明了我们的架构在公开可用的 DEAP 数据集上超过了最先进的情感分类结果，并通过转移学习的方式在 DREAMER 和情感英语词（EEWD）数据集上提高了情感分类准确性。

    Jul, 2023

  • EmT: 一种用于广义跨主题脑电情感识别的新型 Transformer

    将神经生理学的先前知识融入神经网络结构可提高情绪解码的性能。通过引入一种称为 EmT 的新型变压器模型，将 EEG 信号转换为时态图形式，并设计了一种用于学习时态上下文信息的模块，EmT 在广义跨受试者 EEG 情绪分类和回归任务中表现出色。

    Jun, 2024

  • TACOformer: 多模态情感识别的标记通道复合交叉注意力

    本研究提出一种综合的多模态融合方法，结合了基于渠道和记号的跨模态相互作用，同时使用两个变压器编码器来捕捉融合的长期时序依赖，从而在情感数据集 DEAP 和 Dreamer 上取得了最先进的性能。

    Jun, 2023

  • 基于图注意力机制的 EEG 情感识别中的局部时空模式学习

    研究提出了一种基于局部时空模式学习图注意力网络 (LTS-GAT) 的情感识别技术，通过图注意力机制检测 EEG 模式的局部信息，添加动态域鉴别器来提高算法鲁棒性，在个体依赖和独立的情况下验证了算法的有效性，并采用可视化方法研究了大脑不同区域和情感之间的关系以及情感稀疏性问题。

    Aug, 2022

  • NAC-TCN: 基于因果稀疏邻域注意力的时序卷积网络用于情感理解

    视频情感识别是通过一系列方法如 GRUs、LSTMs、自注意力机制、Transformers 和 TCNs 改善了基于视频情感识别，然而这些方法存在内存使用高、操作量大或梯度下降不良的问题。我们提出了一种称为邻域注意力与卷积 TCN（NAC-TCN）的方法，它结合了注意力和时序卷积网络的优点，并确保理解因果关系，从而减少计算和内存成本。我们的模型在标准的情感识别数据集上比 TCNs、TCAN、LSTMs 和 GRUs 取得了相当好或最先进的性能，并且需要较少的参数。我们在线发布了我们的代码，以便其他项目能够轻松复现和使用。

    Dec, 2023

  • 情感识别的时空循环神经网络

    本研究提出一种名为 STRNN 的深度学习框架来将人类情感信息的两种不同信号源进行学习，以便对情绪进行永久跟踪和分析，并在公共情感数据集上取得更具竞争力的结果。

    May, 2017

  • 基于 Transformer 架构的 EEG 注意力估计的时空分析

    本文提出了一种基于 transformer-based 网络的新型框架，用于从 EEG 信号中获取注意状态，进一步优化了特征提取方法和频带。该网络已在两个公共数据集上进行了训练和验证，并取得了比现有模型更高的效果，可应用于实际情况下，如评估注意力缺陷多动障碍 (ADHD) 症状或驾驶评估中的警觉度。

    Apr, 2022