BIOT:野外生物信号跨数据学习
该研究介绍了如何使用转移学习和元学习技术,来处理来自不同来源的生物信号数据,以解决医疗诊断和脑 - 机器接口任务的自动化问题。在这个研究里,以脑电图 (EEG) 为例,设计两项转移学习挑战任务,并通过竞赛验证了这些方法的效果。
Feb, 2022
本文提出了基于对比学习的无监督自适应方法来建模具有噪声标签和少数受试者的生物信号,通过特定于个体的对比损失和对抗性训练来提高模型性能,以及使用时间序列数据增强技术来完善对比损失,实现了对脑电解码和心电异常检测任务的良好分类结果。
Jun, 2020
当前的基于脑电图 (EEG) 的深度学习模型通常针对特定的数据集和脑 - 计算机交互 (BCI) 应用而设计,限制了模型的规模,从而降低了其感知能力和泛化能力。最近,大型语言模型 (LLMs) 在文本处理方面取得了前所未有的成功,激发了我们探索大型脑电图模型 (LEMs) 的能力。我们希望通过无监督预训练,LEMs 可以突破 EEG 数据集不同任务类型的限制,并获得对 EEG 信号的通用感知能力,然后将模型进行微调以适应不同的下游任务。然而,与文本数据相比,EEG 数据集的容量通常很小且格式变化多样。为了克服这些挑战,我们提出了一种统一的 EEG 基础模型,称为 Large Brain Model (LaBraM)。LaBraM 通过将 EEG 信号分割为 EEG 通道块来实现跨数据集学习。我们使用量化向量神经谱预测来训练一个语义丰富的神经分词器,将连续的原始 EEG 通道块编码为紧凑的神经代码。然后,我们通过预测遮蔽的 EEG 通道块的原始神经代码来预训练神经 Transformer。我们的 LaBraM 模型在大约 20 个数据集中的各种类型的 EEG 信号上进行了约 2,500 小时的预训练,并在多种不同类型的下游任务上进行了验证。对异常检测、事件类型分类、情绪识别和步态预测的实验表明,我们的 LaBraM 在各自领域的性能优于其他 SOTA 方法。
May, 2024
本文着眼于通过自我监督学习和适应语言建模技术来发展基于深度神经网络的脑电建模技术,建立起一个单一的预训练模型,用于建模不同硬件、不同受试者和不同任务的全新脑电图序列记录,从而取得较好的脑机接口和脑电分类性能。
Jan, 2021
本文介绍一种基于深度学习的脑机接口技术,通过使用多组数据进行训练,实现了一定的性能,同时通过迁移学习,使得该技术能够用于不同用户,从而解决了目前脑机接口技术中需要耗费大量数据搜集的问题,该技术有望提高脑机接口技术的临床应用性和可行性。
Jan, 2023
提出了一种自监督模型用于 EEG 信号分析,采用基于状态空间的深度学习架构,提供了稳健性能和显著参数效率,同时提出了一种新颖的知识引导的预训练目标,改善了嵌入式表示学习和下游任务的性能。
Feb, 2024
使用预训练语言模型对无创脑机接口(BCI)通过脑电图(EEG)信号进行解码的潜力进行了研究,提出了一个具有先进表示学习方法的无创脑电记录的端到端深度学习框架,并使用新的评估指标验证了该框架在解码效果方面的优越性。
Nov, 2023
提出了一种基于深度神经网络的 MI-EEG 分类方法,采用联合卷积循环神经网络同时学习低维稠密嵌入的强鲁棒高级特征,消除多种伪迹。实验证明,该方法在 MI-EEG 数据集上的分类精度达到了 95.53%,并应用于具体的 BCI 系统中,实现了打字操作。
Sep, 2017
本文提出使用基于 Transformer 的模型处理心电图以进行情感识别,利用 Transformer 的注意机制为信号构建上下文化表示,并通过全连接网络对这些表示进行处理,以预测情感,同时利用自监督学习来克服情感标签数据集相对较小的限制,实现了对 AMIGOS 数据集上心电图情感识别的最新性能,并且表明了 Transformer 和预训练是应用于生理信号情感识别的有前途的策略。
Apr, 2022
提出一种名为 BELT 的模型和学习框架,以大规模预训练语言模型和自然语言监督为基础,通过深度 Conformer 编码器和矢量量化编码器实现大脑信号到自然语言的转换,取得了在脑信号解码和零样本情感分类任务上的最新结果。
Sep, 2023