使用预训练语言模型对无创脑机接口（BCI）通过脑电图（EEG）信号进行解码的潜力进行了研究，提出了一个具有先进表示学习方法的无创脑电记录的端到端深度学习框架，并使用新的评估指标验证了该框架在解码效果方面的优越性。

Nov, 2023

本文介绍了一种对开放词汇的象限脑电图 (EEG)- 到 - 文本序列到序列解码和零样本句子情感分类的方法，并借助预训练语言模型 (例如 BART) 建立一个新的框架，该模型能够处理来自不同受试者和来源的数据，并证明了该模型可以一旦足够的数据可用，有望成为高性能的开放词汇脑到文本系统。

Dec, 2021

提出了一种新颖的 Contrastive EEG-Text Masked Autoencoder 模型，并借助预训练模块以及 EEG 流实现了 EEG 到文本的解码，实验结果表明在文本激发的 EEG 数据库上，该模型在 ROUGE-1 F1 和 BLEU-4 得分上分别超过现有技术 8.34％和 32.21％，这显示了该框架在大脑计算界面应用领域的潜力。

Feb, 2024

当前的基于脑电图 (EEG) 的深度学习模型通常针对特定的数据集和脑 - 计算机交互 (BCI) 应用而设计，限制了模型的规模，从而降低了其感知能力和泛化能力。最近，大型语言模型 (LLMs) 在文本处理方面取得了前所未有的成功，激发了我们探索大型脑电图模型 (LEMs) 的能力。我们希望通过无监督预训练，LEMs 可以突破 EEG 数据集不同任务类型的限制，并获得对 EEG 信号的通用感知能力，然后将模型进行微调以适应不同的下游任务。然而，与文本数据相比，EEG 数据集的容量通常很小且格式变化多样。为了克服这些挑战，我们提出了一种统一的 EEG 基础模型，称为 Large Brain Model (LaBraM)。LaBraM 通过将 EEG 信号分割为 EEG 通道块来实现跨数据集学习。我们使用量化向量神经谱预测来训练一个语义丰富的神经分词器，将连续的原始 EEG 通道块编码为紧凑的神经代码。然后，我们通过预测遮蔽的 EEG 通道块的原始神经代码来预训练神经 Transformer。我们的 LaBraM 模型在大约 20 个数据集中的各种类型的 EEG 信号上进行了约 2,500 小时的预训练，并在多种不同类型的下游任务上进行了验证。对异常检测、事件类型分类、情绪识别和步态预测的实验表明，我们的 LaBraM 在各自领域的性能优于其他 SOTA 方法。

May, 2024

在该论文中，我们首次探索了基于跨注意力的 “whisper” 模型，通过 MEG 信号直接生成文本，而无需教师强制，实现了令人印象深刻的 60.30 和 52.89 的 BLEU-1 得分，该论文还对有关神经解码任务的语音解码形成进行了全面的回顾。

Mar, 2024

该研究介绍了如何使用转移学习和元学习技术，来处理来自不同来源的生物信号数据，以解决医疗诊断和脑 - 机器接口任务的自动化问题。在这个研究里，以脑电图 (EEG) 为例，设计两项转移学习挑战任务，并通过竞赛验证了这些方法的效果。

Feb, 2022

通过使用 EEG2TEXT 方法，借助 EEG 预训练和多视图变压器，能够从脑电图信号中提取更准确的开放词汇解码，并在绝对 BLEU 和 ROUGE 得分上超过现有基线方法高达 5%，显示出高性能开放词汇脑机接口与文本系统用于促进交流的巨大潜力。

May, 2024

本文着眼于通过自我监督学习和适应语言建模技术来发展基于深度神经网络的脑电建模技术，建立起一个单一的预训练模型，用于建模不同硬件、不同受试者和不同任务的全新脑电图序列记录，从而取得较好的脑机接口和脑电分类性能。

Jan, 2021

基于深度学习模型和统计领域适应技术，本研究介绍了获得 EEG 转移学习竞赛冠军的 Latent Alignment 方法，并将其表述为应用于给定受试者试验集的深度集合；实验结果表明，在深度学习模型的较晚阶段进行统计分布对齐有助于分类准确性，同时研究了深度学习模型中可能产生虚假改善结果的类别区分偏差以及类别不平衡对对齐的影响。

Nov, 2023

介绍了一种突破性的端到端（E2E）框架，用于解码侵入性脑信号，取得了语音神经假肢领域的重大进展。通过充分整合大型语言模型，实现与最先进的级联模型相当的结果，突出了 E2E 框架在语音神经假肢中的巨大潜力，尤其在脑机接口技术和相关数据集的发展进化方面。该项工作不仅展示了将大型语言模型与 E2E 解码相结合以增强语音神经假肢的有效性，还为脑机接口应用的未来研究指明了新的方向，突显了在解码复杂神经信号以实现恢复交流方面，大型语言模型的影响力。

Jun, 2024