Aug, 2022

语言和脑电图之间的跨领域对齐的实证探索

PDF
TL;DR本研究介绍了 MTAM（MultimodalTransformer Alignment Model）方法，通过引入规范化关系和 Wasserstein 距离等算法，实现了将语言和电生理信号转换为高级联合表示，提高了情感分析和关系检测精度，从而研究两者在表征层面的关系。
electroencephalographylanguagemultimodaltransformer alignment modelsentiment analysisrelation detection
发现论文，激发创造
  • 使用 EEG 和语言模型探索语言处理的时间尺度

    本研究探讨了语言处理的时间动态，通过研究预训练基于变压器的语言模型和脑电数据之间的单词表示的对准。使用时间响应函数 (TRF) 模型，我们调查了神经活动如何对应于不同层的模型表示，揭示了人工语言模型和大脑在语言理解过程中的相互作用的见解。我们的分析揭示了不同层中 TRF 的模式，突显了对词汇和构成处理的不同贡献。此外，我们使用线性判别分析 (LDA) 来分离词性 (POS) 表示，为神经响应和句法处理的基本机制提供了见解。这些发现强调了脑电图在高时间分辨率下探测语言处理动态方面的实用性。通过连接人工语言模型和神经活动，本研究推进了对它们在精细时间尺度上相互作用的理解。

    Jun, 2024

  • 深度表示学习用于开放词汇的脑电图到文本解码

    使用预训练语言模型对无创脑机接口（BCI）通过脑电图（EEG）信号进行解码的潜力进行了研究，提出了一个具有先进表示学习方法的无创脑电记录的端到端深度学习框架，并使用新的评估指标验证了该框架在解码效果方面的优越性。

    Nov, 2023

  • 多模态情绪阅读器：预训练模型增强跨主体情绪识别

    基于脑电图 (EEG) 的情绪识别引起了重要关注，在神经信号处理和情感计算等领域有了多样化的发展。然而，个体的独特脑解剖结构导致不可忽视的自然差异，在主题间情绪识别中存在挑战。为了克服这些限制，我们开发了一个基于预训练模型的多模式情绪识别器，利用脑信号建模和空间 - 时间注意机制来学习通用的脑电图表示，并在不同维度和模态中最大化功能的优势。广泛的公共数据集上的实验证明了情绪识别器在跨主题情绪识别任务中的卓越性能，优于现有方法。此外，该模型从注意力的角度进行了剖析，为神经信号处理领域的情感研究提供了有价值的洞察。

    May, 2024

  • 用于多模式自然语言处理的 EEG 脑电信号解码

    本文针对脑电信号对自然语言处理的潜力进行了大规模研究，利用多模态机器学习体系结构，发现滤波后的脑电信号对情感分析任务的性能提升最为明显，特别是在训练数据有限的情况下。

    Feb, 2021

  • 通过预训练对比度 EEG-Text 掩蔽自编码器的可转移表示增强 EEG 到文本解码

    提出了一种新颖的 Contrastive EEG-Text Masked Autoencoder 模型，并借助预训练模块以及 EEG 流实现了 EEG 到文本的解码，实验结果表明在文本激发的 EEG 数据库上，该模型在 ROUGE-1 F1 和 BLEU-4 得分上分别超过现有技术 8.34％和 32.21％，这显示了该框架在大脑计算界面应用领域的潜力。

    Feb, 2024

  • 基于语义感知的课程学习在脑电图到文本生成中的对比学习

    本文介绍了使用课程多义对比学习策略来降低脑电信号与自然语言文本之间差异的挑战，其在多种模型和架构上均表现出优秀的实验结果并取得最新的最优结果，可广泛应用于单一对象和资源匮乏的情况，并且其在零样本学习方面具有鲁棒性。

    Jan, 2023

  • 联合脑电肌电数据压缩和分类的多模态深度学习方法

    本文使用深度学习方法，提出了一种针对 EEG 和 EMG 信号的联合压缩和分类方法，基于深度自编码器架构，通过在编码器层处理多模态数据并在解码器层重构和检索数据，显著减少了信号失真，同时实现了更好的分类准确性。

    Mar, 2017

  • EEG-GPT: 大型语言模型在脑电波分类与解读中的能力探索

    EEG-GPT 是一种统一的脑电图分类方法，利用大型语言模型的进展实现了在多尺度脑电生理理解和分类能力方面出色的性能，同时提供透明和可解释的逐步验证过程，从而在临床环境中提高了可信度。

    Jan, 2024

  • 基于多模态电生理多头注意力对比学习的情感识别

    我们提出一种基于自监督对比学习的多模式情感识别方法 ME-MHACL，通过从无标签的生物电信号中学习有意义的特征表示，并使用多头注意机制进行特征融合以提高识别性能。在 DEAP 和 MAHNOB-HCI 两个公开数据集上的实验结果表明，我们的方法在情感识别任务中表现优于现有基准方法，并具有良好的跨个体泛化能力。

    Jul, 2023

  • 使用卷积自编码器实现无监督多模态语言表征

    提出了一种无监督多模态语言表示提取方法，利用卷积自编码器将单词级对齐的多模态序列映射到 2-D 矩阵中，证明其在情感分析和情绪识别领域可以达到接近最先进性能的结果。

    Oct, 2021