Aug, 2023

大型 Transformer 模型在 EEG 学习中表现更好

PDF
TL;DR我们展示了从图像和文本中预训练的转换器模型能够直接微调为基于脑电图的预测任务，并提出了 AdaCE 模块，用于将 EEG 数据转换成图像和文本形式以进行微调，取得了最先进的性能。
发现论文，激发创造
  • ViT2EEG: 基于混合预训练视觉 Transformer 的 EEG 数据利用

    本研究展示了在脑电图（EEG）回归任务上，以 ImageNet 为预训练数据的混合 Vision Transformer（ViT）模型的应用。通过与其他模型进行比较，包括没有 ImageNet 权重的相同结构 ViT 模型，在 EEG 数据上微调后，该模型表现出显著的性能提升。这一发现挑战了对模型泛化的传统理解，表明在合适的微调流程下，预先训练在看似无关的图像数据上的 Transformer 模型可以为 EEG 回归任务提供有价值的先验知识。这种方法的成功暗示了 ViT 模型在视觉任务环境中提取的特征可以轻松地转化为 EEG 预测建模的目的。我们建议不仅在神经科学和相关领域，而且在任何由实际、财务或伦理限制所限制的任务中采用这种方法。我们的结果揭示了预训练模型在与其原始目的明显不同的任务上的潜力。

    Aug, 2023

  • Transformer 网络在原始 EEG 数据分类中的有效性

    本篇论文探讨了 Transformer 网络用于分类清洗和预处理后的脑电图（EEG）数据的有效性和性能，结果表明，基于 Transformer 的深度学习模型可以成功地消除对 EEG 数据特征提取的需求，实现了脑电图数据的高效分类。

    Feb, 2022

  • 通过预训练对比度 EEG-Text 掩蔽自编码器的可转移表示增强 EEG 到文本解码

    提出了一种新颖的 Contrastive EEG-Text Masked Autoencoder 模型，并借助预训练模块以及 EEG 流实现了 EEG 到文本的解码，实验结果表明在文本激发的 EEG 数据库上，该模型在 ROUGE-1 F1 和 BLEU-4 得分上分别超过现有技术 8.34％和 32.21％，这显示了该框架在大脑计算界面应用领域的潜力。

    Feb, 2024

  • BENDR：使用变压器和对比自监督学习任务从海量脑电数据中学习

    本文着眼于通过自我监督学习和适应语言建模技术来发展基于深度神经网络的脑电建模技术，建立起一个单一的预训练模型，用于建模不同硬件、不同受试者和不同任务的全新脑电图序列记录，从而取得较好的脑机接口和脑电分类性能。

    Jan, 2021

  • MEG 基础 GPT 模型

    使用深度学习技术，以大量未标记数据预训练模型，并在特定任务上进行微调，对大脑信号进行建模比常规线性自回归模型具有更好的建模能力，其中 GPT2 模型在时间、空间和频谱特征方面更好地重现了实际数据和任务数据的诱发活动。

    Apr, 2024

  • 深度表示学习用于开放词汇的脑电图到文本解码

    使用预训练语言模型对无创脑机接口（BCI）通过脑电图（EEG）信号进行解码的潜力进行了研究，提出了一个具有先进表示学习方法的无创脑电记录的端到端深度学习框架，并使用新的评估指标验证了该框架在解码效果方面的优越性。

    Nov, 2023

  • 大脑大型模型中以 Tremendous 脑电图数据为基础学习通用表达

    当前的基于脑电图 (EEG) 的深度学习模型通常针对特定的数据集和脑 - 计算机交互 (BCI) 应用而设计，限制了模型的规模，从而降低了其感知能力和泛化能力。最近，大型语言模型 (LLMs) 在文本处理方面取得了前所未有的成功，激发了我们探索大型脑电图模型 (LEMs) 的能力。我们希望通过无监督预训练，LEMs 可以突破 EEG 数据集不同任务类型的限制，并获得对 EEG 信号的通用感知能力，然后将模型进行微调以适应不同的下游任务。然而，与文本数据相比，EEG 数据集的容量通常很小且格式变化多样。为了克服这些挑战，我们提出了一种统一的 EEG 基础模型，称为 Large Brain Model (LaBraM)。LaBraM 通过将 EEG 信号分割为 EEG 通道块来实现跨数据集学习。我们使用量化向量神经谱预测来训练一个语义丰富的神经分词器，将连续的原始 EEG 通道块编码为紧凑的神经代码。然后，我们通过预测遮蔽的 EEG 通道块的原始神经代码来预训练神经 Transformer。我们的 LaBraM 模型在大约 20 个数据集中的各种类型的 EEG 信号上进行了约 2,500 小时的预训练，并在多种不同类型的下游任务上进行了验证。对异常检测、事件类型分类、情绪识别和步态预测的实验表明，我们的 LaBraM 在各自领域的性能优于其他 SOTA 方法。

    May, 2024

  • EEGFormer：面向可迁移和可解释的大规模 EEG 基础模型

    通过自监督学习方法，本文介绍了一个新颖的脑电图基础模型 EEGFormer，能够在各种下游任务中学习出可适应的通用表示，并通过自监督学习展示了可转移的异常检测性能和有价值的模式解释。

    Jan, 2024

  • EEG-Deformer：一种用于脑机接口的密集卷积变形器

    通过将 Hierarchical Coarse-to-Fine Transformer (HCT) 和 Dense Information Purification (DIP) 模块结合进 CNN-Transformer，我们提出了 EEG-Deformer 算法，有效地学习了脑电图（EEG）信号中的时间动态，进而解码脑活动，实验证明它在三个认知任务上要么优于现有的最先进方法，要么与其相媲美。

    Apr, 2024

  • 神经 GPT：为脑电图开发基础模型

    为应对脑机接口任务中的电脑断层扫描（EEG）数据稀缺和异质性，以及利用大规模的公共数据，我们提出了神经 - GPT，这是一个由 EEG 编码器和 GPT 模型组成的基础模型。该基础模型在大规模的公共 EEG 数据集上进行自监督任务的预训练，学习如何重构 EEG 中的掩码块。然后，我们在仅有 9 个受试者的运动意象分类任务上对基础模型进行微调。实验证明，应用基础模型可以显著提高分类性能，相比从头开始训练的模型，这提供了基础模型先进泛化能力和应对数据稀缺性和异质性挑战的能力的证据。

    Nov, 2023