EmT: 一种用于广义跨主题脑电情感识别的新型 Transformer

Jun, 2024

EmT: 一种用于广义跨主题脑电情感识别的新型 Transformer

EmT: A Novel Transformer for Generalized Cross-subject EEG Emotion Recognition

Yi Ding, Chengxuan Tong, Shuailei Zhang, Muyun Jiang, Yong Li...

TL;DR将神经生理学的先前知识融入神经网络结构可提高情绪解码的性能。通过引入一种称为 EmT 的新型变压器模型，将 EEG 信号转换为时态图形式，并设计了一种用于学习时态上下文信息的模块，EmT 在广义跨受试者 EEG 情绪分类和回归任务中表现出色。

Abstract

Integrating prior knowledge of neurophysiology into neural network architecture enhances the performance of emotion decoding. While numerous techniques emphasize learning spatial and short-term temporal patterns, there has been limited emphasis on capturing the vital long-term contextu

neural network architecture emotion decoding transformer model eeg signals temporal contextual information

发现论文，激发创造

CIT-EmotionNet: 基于 CNN 和交互式 Transformer 网络的 EEG 情感识别

本文提出了一种使用 CNN Interactive Transformer Network 的方法，将全局和局部特征有效地结合起来，以提高情感识别性能。该方法在两个公开数据集，SEED 和 SEED-IV 上表现出比现有方法更高的平均识别准确性 98.57％和 92.09％。

May, 2023

基于 Transformer 的自监督学习在情感识别中的应用

本文提出使用基于 Transformer 的模型处理心电图以进行情感识别，利用 Transformer 的注意机制为信号构建上下文化表示，并通过全连接网络对这些表示进行处理，以预测情感，同时利用自监督学习来克服情感标签数据集相对较小的限制，实现了对 AMIGOS 数据集上心电图情感识别的最新性能，并且表明了 Transformer 和预训练是应用于生理信号情感识别的有前途的策略。

Apr, 2022

基于多尺度 Transformer 网络的多生理信号情感识别

本文提出了一种高效的基于多尺度 Transformer 的方法，用于从生理数据中识别情感，并且利用多模态技术和缩放数据建立内部身体信号与人类情感之间的关系。同时使用高斯变换技术优化信号编码效果，并在 EPiC 比赛的 CASE 数据集上取得了 RMSE 得分 1.45 的好成绩。

May, 2023

面向 EEG 情感识别的时间感知混合注意力卷积及 Transformer 网络 (MACTN)

提出了一种基于分层混合模型的情感识别方法 MACTN，该模型通过卷积神经网络 (CNN) 提取局部情感特征，通过 transformer 集成稀疏的全局情感特征，并利用通道注意机制识别最相关的通道，在实验中取得超过其他现有方法的分类准确度和 F1 分数，早期版本已赢得 2022 年世界机器人大赛情感 BCI 竞赛的决赛冠军。

May, 2023

多模态情绪阅读器：预训练模型增强跨主体情绪识别

基于脑电图 (EEG) 的情绪识别引起了重要关注，在神经信号处理和情感计算等领域有了多样化的发展。然而，个体的独特脑解剖结构导致不可忽视的自然差异，在主题间情绪识别中存在挑战。为了克服这些限制，我们开发了一个基于预训练模型的多模式情绪识别器，利用脑信号建模和空间 - 时间注意机制来学习通用的脑电图表示，并在不同维度和模态中最大化功能的优势。广泛的公共数据集上的实验证明了情绪识别器在跨主题情绪识别任务中的卓越性能，优于现有方法。此外，该模型从注意力的角度进行了剖析，为神经信号处理领域的情感研究提供了有价值的洞察。

May, 2024

基于统一的 Transformer 网络的多模态情感识别

本论文提出了一种新颖的统一生物传感器 - 视觉多模态 Transformer 方法（UBVMT），通过将 2D 心电图 / 脉搏波图像与面部信息相结合，用于在唤醒 - 价值空间中对情绪进行分类。实验结果表明，我们的统一 UBVMT 模型与最先进技术相比具有可比较的性能。

Aug, 2023

MASA-TCN: 多锚空间感知时序卷积神经网络用于连续与离散脑电情绪识别

利用电脑辅助情感识别 (EEG) 的主要场景有两种：离散标签的分类和连续标签的回归。虽然有很多算法用于分类任务，但回归任务的方法却很少。对于情感回归，标签在时间上是连续的。一种自然的方法是学习时间动态模式。在以往的研究中，使用长短期记忆 (LSTM) 和时间卷积神经网络 (TCN) 从 EEG 的特征向量中学习时间上下文信息。然而，EEG 的空间模式没有被有效提取。为了使 TCN 能够更好地进行回归和分类任务，并学习空间关系，我们提出了一种名为 MASA-TCN 的新型统一模型。空间感知的时间层使得 TCN 能够在 EEG 电极之间额外学习空间关系。此外，我们还提出了一种新的具有注意力融合的多锚块来学习动态时间依赖关系。在两个公开可用的数据集上的实验结果表明，MASA-TCN 在 EEG 情感回归和分类任务上的结果比最先进的方法更高。代码可在此 https URL 找到。

Aug, 2023

多模态情感识别的多级 Transformer

本文提出一种新的多层次转换器模型，将细粒度表示和预训练的话语级别表示相结合，结合不同的方法将音素级别嵌入与单词级别嵌入相结合，从而进行细粒度的多模式情感识别，最终在 IEMOCAP 数据集上，我们的模型均优于之前的最优方法。

Oct, 2022

HetEmotionNet: 用于多模态情感识别的双流异质图递归神经网络

本研究提出了一种新颖的两流异构图递归神经网络，名为 HetEmotionNet，该网络可以融合多模态生理信号用于情感识别，并在两个实际数据集上取得了比现有基准更好的性能。

Aug, 2021

一种具有图平滑信号的混合时空注意力神经网络用于 EEG 情绪识别

我们引入了一个深度神经网络用于情感分类，通过混合的时空编码和循环注意网络块获取可解释的生理学表示，并应用图信号处理工具对原始数据进行预处理以在空间域中进行图平滑。我们证明了我们的架构在公开可用的 DEAP 数据集上超过了最先进的情感分类结果，并通过转移学习的方式在 DREAMER 和情感英语词（EEWD）数据集上提高了情感分类准确性。

Jul, 2023