MAD:多对多 MEG 到文本解码
在该论文中,我们首次探索了基于跨注意力的 “whisper” 模型,通过 MEG 信号直接生成文本,而无需教师强制,实现了令人印象深刻的 60.30 和 52.89 的 BLEU-1 得分,该论文还对有关神经解码任务的语音解码形成进行了全面的回顾。
Mar, 2024
通过使用 EEG2TEXT 方法,借助 EEG 预训练和多视图变压器,能够从脑电图信号中提取更准确的开放词汇解码,并在绝对 BLEU 和 ROUGE 得分上超过现有基线方法高达 5%,显示出高性能开放词汇脑机接口与文本系统用于促进交流的巨大潜力。
May, 2024
提出了一种新颖的 Contrastive EEG-Text Masked Autoencoder 模型,并借助预训练模块以及 EEG 流实现了 EEG 到文本的解码,实验结果表明在文本激发的 EEG 数据库上,该模型在 ROUGE-1 F1 和 BLEU-4 得分上分别超过现有技术 8.34%和 32.21%,这显示了该框架在大脑计算界面应用领域的潜力。
Feb, 2024
通过对大量受试者进行对比学习,使用自我监督方法设计的神经网络可以从无创脑电图数据中有效识别自由自然语言,为实现从脑电图中实时解码自然语音处理提供了有前途的途径。
Aug, 2022
脑活动转化为文本的研究在近年来取得了显著的进展,许多研究人员致力于开发新模型将脑电信号解码为文本形式,但该领域仍面临许多挑战,需要进一步改进。该综述文章完整总结了脑电信号转化为文本的进展,包括该技术的成长、仍存在的问题、数据收集方法、信号处理步骤以及将这些信号转化为连贯文本的系统开发。通过解决这些方面,该综述旨在为广泛的用户群体开发更易接触和有效的脑机接口(BCI)技术做出贡献。
Apr, 2024
使用预训练语言模型对无创脑机接口(BCI)通过脑电图(EEG)信号进行解码的潜力进行了研究,提出了一个具有先进表示学习方法的无创脑电记录的端到端深度学习框架,并使用新的评估指标验证了该框架在解码效果方面的优越性。
Nov, 2023
提出了一种基于深度神经网络的 MI-EEG 分类方法,采用联合卷积循环神经网络同时学习低维稠密嵌入的强鲁棒高级特征,消除多种伪迹。实验证明,该方法在 MI-EEG 数据集上的分类精度达到了 95.53%,并应用于具体的 BCI 系统中,实现了打字操作。
Sep, 2017
通过基于高时间分辨率的 MEG 测量脑活动,利用生成型和基础型人工智能系统解码大脑活动,特别是通过功能性磁共振成像 (fMRI) 解码视觉感知,从而在实时应用方面取得了重大进展。
Oct, 2023
该研究提供了一个标准的数据集 MEG-MASC,测量了 27 个英语说话者听两个小时自然故事时的脑电活动,这有助于大规模的脑电编码和解码分析。
Jul, 2022
通过直接比较从脑活动中映射的预测文本嵌入与实际文本重建,我们的方法在文本重建方面明显胜过当前最先进模型,实验证明更精确地将脑活动映射到文本嵌入将获得更好的重建结果,这为未来的工作简化了从脑活动中重建语言的任务,强调了改进脑到文本嵌入映射技术的重要性。
Mar, 2024