通过自监督学习方法，本文介绍了一个新颖的脑电图基础模型 EEGFormer，能够在各种下游任务中学习出可适应的通用表示，并通过自监督学习展示了可转移的异常检测性能和有价值的模式解释。

Jan, 2024

为应对脑机接口任务中的电脑断层扫描（EEG）数据稀缺和异质性，以及利用大规模的公共数据，我们提出了神经 - GPT，这是一个由 EEG 编码器和 GPT 模型组成的基础模型。该基础模型在大规模的公共 EEG 数据集上进行自监督任务的预训练，学习如何重构 EEG 中的掩码块。然后，我们在仅有 9 个受试者的运动意象分类任务上对基础模型进行微调。实验证明，应用基础模型可以显著提高分类性能，相比从头开始训练的模型，这提供了基础模型先进泛化能力和应对数据稀缺性和异质性挑战的能力的证据。

Nov, 2023

通过整合来自 41400 名参与者的 MRI 数据集，利用视觉转换器进行两阶段预训练方法，该研究引入了一种新颖的方法来创建医学基础模型，并通过 MRI 在复杂的神经影像任务中提高了模型的准确性和预测能力。

Jun, 2024

本文介绍了一种自监督预训练框架，用于基于功能性磁共振（fMRI）数据的变压器。作者在两种自监督任务上预训练模型，以教授模型人类听觉皮层在音乐听取期间的时间和空间动态。作者的预训练结果表明，多任务训练对 fMRI 数据具有协同效应。作者在监督 fMRI 分类任务上发现，微调预先训练的模型和训练额外的新模型都能够显著提高准确性，证明了预训练任务促进迁移学习的能力。

May, 2023

使用深度学习技术，以大量未标记数据预训练模型，并在特定任务上进行微调，对大脑信号进行建模比常规线性自回归模型具有更好的建模能力，其中 GPT2 模型在时间、空间和频谱特征方面更好地重现了实际数据和任务数据的诱发活动。

Apr, 2024

最近在自我监督学习方面的突破已经实现了使用大规模无标签数据集来训练视觉基础模型，该模型可以推广到各种下游任务。本项目的目标是训练最大的学术基础模型，并通过在大型临床病理数据集上的预训练和下游性能评估来对最重要的自我监督学习算法进行基准测试。结果表明，与自然图像的预训练相比，病理数据的预训练对下游性能是有益的。此外，DINO 算法在所有测试任务中实现了更好的泛化性能。这些结果标志着计算病理学研究的一个阶段性变化，为基于大规模、并行预训练的更高性能模型开辟了新时代。

Oct, 2023

该研究提出了一种基于自监督遮掩采样蒸馏方法的视觉 Transformer，它可以在不需要持续通信的情况下进行，同时使用特定于视觉 Transformer 的加密方法来增强隐私保护，经过对两种医疗数据和两种不同下游任务的广泛实验表明，该方法具有比现有的分布式学习策略和基线微调方法更好的性能，而自我监督模型可以具有对模态的一般语义理解能力，证明了其作为各种医疗任务的任务不可知基础模型的潜力，拓展了在医学领域的适用性。

Jan, 2023

本研究提出了一种基于 GNN 的自监督预训练模型，能够捕捉电极几何或动态脑连接的脑电图图形结构，提高罕见癫痫类型的检测和分类精度。此外，提出了一种定量的模型可解释性方法来评估模型在 EEGs 内定位癫痫的能力。实验证明，GNN 的自监督预训练方法在癫痫检测和分类上都优于以往的方法，能够精确定位约 25.4% 的局部癫痫，可以为临床医生提供直观的癫痫局部化信息。

Apr, 2021

本文着眼于通过自我监督学习和适应语言建模技术来发展基于深度神经网络的脑电建模技术，建立起一个单一的预训练模型，用于建模不同硬件、不同受试者和不同任务的全新脑电图序列记录，从而取得较好的脑机接口和脑电分类性能。

Jan, 2021

本文提出了一种基于知识蒸馏的新型训练方法，该方法利用来自多个受试者的大量数据，从所有可用受试者的信号中提取信息特征，并利用提取出的知识和个性化数据，获得患者特定模型，从而显著提高了患者特异性癫痫预测器的性能，填补了患者特异性和患者非特异性预测器之间的差距。

Feb, 2022