为应对脑机接口任务中的电脑断层扫描（EEG）数据稀缺和异质性，以及利用大规模的公共数据，我们提出了神经 - GPT，这是一个由 EEG 编码器和 GPT 模型组成的基础模型。该基础模型在大规模的公共 EEG 数据集上进行自监督任务的预训练，学习如何重构 EEG 中的掩码块。然后，我们在仅有 9 个受试者的运动意象分类任务上对基础模型进行微调。实验证明，应用基础模型可以显著提高分类性能，相比从头开始训练的模型，这提供了基础模型先进泛化能力和应对数据稀缺性和异质性挑战的能力的证据。

Nov, 2023

EEG-GPT 是一种统一的脑电图分类方法，利用大型语言模型的进展实现了在多尺度脑电生理理解和分类能力方面出色的性能，同时提供透明和可解释的逐步验证过程，从而在临床环境中提高了可信度。

Jan, 2024

我们展示了从图像和文本中预训练的转换器模型能够直接微调为基于脑电图的预测任务，并提出了 AdaCE 模块，用于将 EEG 数据转换成图像和文本形式以进行微调，取得了最先进的性能。

Aug, 2023

TrackGPT 是一种基于 GPT 的模型，可用于实体轨迹预测，并在测距和空间两个领域表现出强大的性能，同时保持领域无关性和最小化数据特征要求。

Jan, 2024

该研究对多个 Transformer 模型进行基准测试，展示了这些模型如何从新闻事件中判断情感。这个信号随后可用于下游建模和商品交易的信号识别。我们发现，在这一任务中，微调的 BERT 模型优于微调或原版的 GPT 模型。研究还提出了 CopBERT 模型，它在域特定的 BERT 训练模型（如 FinBERT）的性能上表现更好。综上所述，BERT 模型可能不会成为下一个 XGboost，但对于需要融合可解释性和准确性的金融工程任务来说，它代表了一个有趣的选择。

Apr, 2024

该研究通过重新审视时间序列变压器并确定先前研究的不足，引入了一种名为 Timely Generative Pre-trained Transformer 的创新架构。该架构通过整合递归注意力和时间卷积模块来有效地捕获长序列中的全局 - 局部时间依赖关系，并利用相对位置嵌入和时间衰减处理趋势和周期模式。实验结果表明，该模型在建模连续监测生物信号以及纵向电子健康记录中经常出现的非规则采样时间序列数据方面表现出色，这一突破意味着时间序列深度学习研究的优先级转向了大规模预训练而非从头开始的小规模建模。

Nov, 2023

使用预训练语言模型对无创脑机接口（BCI）通过脑电图（EEG）信号进行解码的潜力进行了研究，提出了一个具有先进表示学习方法的无创脑电记录的端到端深度学习框架，并使用新的评估指标验证了该框架在解码效果方面的优越性。

Nov, 2023

TEMPO 是一个基于时间序列的新框架，通过利用时序任务的两个基本归纳偏好来有效学习时间序列表示，展现出超过 20% 至 60% 的改善性能，并在标准监督学习和之前未见数据集的情景中观察到。

Oct, 2023

当前的基于脑电图 (EEG) 的深度学习模型通常针对特定的数据集和脑 - 计算机交互 (BCI) 应用而设计，限制了模型的规模，从而降低了其感知能力和泛化能力。最近，大型语言模型 (LLMs) 在文本处理方面取得了前所未有的成功，激发了我们探索大型脑电图模型 (LEMs) 的能力。我们希望通过无监督预训练，LEMs 可以突破 EEG 数据集不同任务类型的限制，并获得对 EEG 信号的通用感知能力，然后将模型进行微调以适应不同的下游任务。然而，与文本数据相比，EEG 数据集的容量通常很小且格式变化多样。为了克服这些挑战，我们提出了一种统一的 EEG 基础模型，称为 Large Brain Model (LaBraM)。LaBraM 通过将 EEG 信号分割为 EEG 通道块来实现跨数据集学习。我们使用量化向量神经谱预测来训练一个语义丰富的神经分词器，将连续的原始 EEG 通道块编码为紧凑的神经代码。然后，我们通过预测遮蔽的 EEG 通道块的原始神经代码来预训练神经 Transformer。我们的 LaBraM 模型在大约 20 个数据集中的各种类型的 EEG 信号上进行了约 2,500 小时的预训练，并在多种不同类型的下游任务上进行了验证。对异常检测、事件类型分类、情绪识别和步态预测的实验表明，我们的 LaBraM 在各自领域的性能优于其他 SOTA 方法。

May, 2024

本文着眼于通过自我监督学习和适应语言建模技术来发展基于深度神经网络的脑电建模技术，建立起一个单一的预训练模型，用于建模不同硬件、不同受试者和不同任务的全新脑电图序列记录，从而取得较好的脑机接口和脑电分类性能。

Jan, 2021