Nov, 2023

深度表示学习用于开放词汇的脑电图到文本解码

PDF
TL;DR使用预训练语言模型对无创脑机接口（BCI）通过脑电图（EEG）信号进行解码的潜力进行了研究，提出了一个具有先进表示学习方法的无创脑电记录的端到端深度学习框架，并使用新的评估指标验证了该框架在解码效果方面的优越性。
pre-trained language modelselectroencephalographybrain-computer interfacedecoding performancedeep learning framework
发现论文，激发创造
  • 开放词汇电脑图文解码及零样本情感分类

    本文介绍了一种对开放词汇的象限脑电图 (EEG)- 到 - 文本序列到序列解码和零样本句子情感分类的方法，并借助预训练语言模型 (例如 BART) 建立一个新的框架，该模型能够处理来自不同受试者和来源的数据，并证明了该模型可以一旦足够的数据可用，有望成为高性能的开放词汇脑到文本系统。

    Dec, 2021

  • EEG2TEXT: EEG 预训练和多视角变压器下的开放词汇脑电图到文本解码

    通过使用 EEG2TEXT 方法，借助 EEG 预训练和多视图变压器，能够从脑电图信号中提取更准确的开放词汇解码，并在绝对 BLEU 和 ROUGE 得分上超过现有基线方法高达 5%，显示出高性能开放词汇脑机接口与文本系统用于促进交流的巨大潜力。

    May, 2024

  • 通过预训练对比度 EEG-Text 掩蔽自编码器的可转移表示增强 EEG 到文本解码

    提出了一种新颖的 Contrastive EEG-Text Masked Autoencoder 模型，并借助预训练模块以及 EEG 流实现了 EEG 到文本的解码，实验结果表明在文本激发的 EEG 数据库上，该模型在 ROUGE-1 F1 和 BLEU-4 得分上分别超过现有技术 8.34％和 32.21％，这显示了该框架在大脑计算界面应用领域的潜力。

    Feb, 2024

  • 从非侵入式脑记录中解码语音

    通过对大量受试者进行对比学习，使用自我监督方法设计的神经网络可以从无创脑电图数据中有效识别自由自然语言，为实现从脑电图中实时解码自然语音处理提供了有前途的途径。

    Aug, 2022

  • 通过知识蒸馏和潜在扩散模型从脑电图解码视觉大脑表示

    本研究通过采用电脑脑波数据对 ImageNet 数据集中的图像进行分类和重建，提出了一种创新的方法。该研究不仅可以从神经活动中解码图像，还能仅利用脑电波数据生成图像的可靠重建，为个性化迅速反馈实验铺平了道路。

    Sep, 2023

  • 脑机接口深度表示学习技术评述及建议

    综述了 81 篇应用深度表示学习技术进行 BCI 解码的文章，发现自编码器是最常用的深度表示学习技术，同时呼吁为 EEG 信号解码专门设计基础模型，并建立专门的基准和数据集来促进其发展和持续改进。

    May, 2024

  • 评估认知任务结构的迁移学习

    通过在不同的 EEG 解码任务上进行深度学习网络的预训练和评估，研究了深度学习表达在任务之间的可迁移性，并发现在解码性能上有显著的提升，同时揭示了特定解码范式引发特定脑活动的证据，从神经科学的角度加强了我们对认知任务之间层次关系的理解。

    Jul, 2023

  • 解码神经信号为语音

    在该论文中，我们首次探索了基于跨注意力的 “whisper” 模型，通过 MEG 信号直接生成文本，而无需教师强制，实现了令人印象深刻的 60.30 和 52.89 的 BLEU-1 得分，该论文还对有关神经解码任务的语音解码形成进行了全面的回顾。

    Mar, 2024

  • 利用自然语言监督进行脑电图到语言解码和零样本情感分类的自举方法 (BELT)

    提出一种名为 BELT 的模型和学习框架，以大规模预训练语言模型和自然语言监督为基础，通过深度 Conformer 编码器和矢量量化编码器实现大脑信号到自然语言的转换，取得了在脑信号解码和零样本情感分类任务上的最新结果。

    Sep, 2023

  • 神经记忆解码：基于 EEG 数据和表示学习

    使用神经解码的方法从 EEG 数据中提取记忆，通过深度表征学习和监督对比损失将脑电图映射到低维空间，可在训练数据集中没有出现的概念中识别，可应用于信息检索问题。

    Jul, 2023