非侵入性的认知信号解码为自然语言一直是建立实用脑 - 计算机接口（BCIs）的目标。最近的重要里程碑成功地将认知信号如功能磁共振成像（fMRI）和脑电图（EEG）在开放词汇设置下解码为文本。然而，如何在认知信号解码任务中拆分训练、验证和测试数据集仍然存在争议。本文对当前数据集拆分方法进行了系统分析，发现数据污染的存在大大夸大了模型性能。为了消除数据污染的影响和公平评估不同模型的泛化能力，我们提出了一种新的分裂方法用于不同类型的认知数据集（例如 fMRI，EEG）。我们还测试了在提出的数据集分裂模式下的 SOTA 脑 - 文本解码模型的性能作为后续研究的基准。

Dec, 2023

本文介绍了一种对开放词汇的象限脑电图 (EEG)- 到 - 文本序列到序列解码和零样本句子情感分类的方法，并借助预训练语言模型 (例如 BART) 建立一个新的框架，该模型能够处理来自不同受试者和来源的数据，并证明了该模型可以一旦足够的数据可用，有望成为高性能的开放词汇脑到文本系统。

Dec, 2021

在该论文中，我们首次探索了基于跨注意力的 “whisper” 模型，通过 MEG 信号直接生成文本，而无需教师强制，实现了令人印象深刻的 60.30 和 52.89 的 BLEU-1 得分，该论文还对有关神经解码任务的语音解码形成进行了全面的回顾。

Mar, 2024

通过非侵入式设备从大脑活动中解读自然语言仍然是一个巨大的挑战，本文提出了一种新颖的方法，通过三维卷积网络和信息瓶颈技术对单次非侵入性功能磁共振成像记录进行连续语言解码，该解码器能够生成捕捉到感知语音含义的可理解文本序列，并在跨受试者场景中表现出明显优于现有解码器的性能，展示了非侵入式语言脑机接口在医疗保健和神经科学领域的应用前景。

Mar, 2024

该研究采用 fMRI 技术和图像生成模型，提出了一种基于大脑神经活动解码为图像文字的方法，该方法包括图像重建流程和基于深度图的图像生成模型，实验证明其在神经科学方面具有广泛应用的潜力。

May, 2023

使用大脑表示作为提示进一步驱动大规模语言模型从脑信号中解码听觉神经信息是可行且有效的。

May, 2024

本文系统探讨了图像转换器和多模态转换器在大脑编码方面的有效性，发现多模态转换器 VisualBERT 在编码上远优于之前提出的单模态 CNN、图像转换器以及其他先前提出的多模态模型，这表明视觉语言模型的优越性，产生了人们是否在被动地查看图像时，视觉区域的响应是否受到语言处理的影响的问题。

Apr, 2022

通过直接比较从脑活动中映射的预测文本嵌入与实际文本重建，我们的方法在文本重建方面明显胜过当前最先进模型，实验证明更精确地将脑活动映射到文本嵌入将获得更好的重建结果，这为未来的工作简化了从脑活动中重建语言的任务，强调了改进脑到文本嵌入映射技术的重要性。

Mar, 2024

使用 CoCa 模型，本文提出了一种简单而有效的生成框架 BrainChat，旨在从脑活动中快速实现语义信息解码任务，包括 fMRI 问题回答和 fMRI 字幕生成，通过编码稀疏的 fMRI 数据，利用对比损失将 fMRI、图像和文本嵌入对齐，然后通过交叉注意层将 fMRI 嵌入映射到生成的脑解码器，以最小化字幕损失的方式以回归的方式生成有关 fMRI 的文本内容。成功地超过了现有状态 - of-the-art 方法在 fMRI 字幕生成任务中，并首次实现了 fMRI 问题回答。此外，BrainChat 在没有图像数据的情况下仍可以实现高性能，更适用于现实世界的数据有限场景。

Jun, 2024

脑活动转化为文本的研究在近年来取得了显著的进展，许多研究人员致力于开发新模型将脑电信号解码为文本形式，但该领域仍面临许多挑战，需要进一步改进。该综述文章完整总结了脑电信号转化为文本的进展，包括该技术的成长、仍存在的问题、数据收集方法、信号处理步骤以及将这些信号转化为连贯文本的系统开发。通过解决这些方面，该综述旨在为广泛的用户群体开发更易接触和有效的脑机接口（BCI）技术做出贡献。

Apr, 2024