通过对大量受试者进行对比学习，使用自我监督方法设计的神经网络可以从无创脑电图数据中有效识别自由自然语言，为实现从脑电图中实时解码自然语音处理提供了有前途的途径。

Aug, 2022

通过直接比较从脑活动中映射的预测文本嵌入与实际文本重建，我们的方法在文本重建方面明显胜过当前最先进模型，实验证明更精确地将脑活动映射到文本嵌入将获得更好的重建结果，这为未来的工作简化了从脑活动中重建语言的任务，强调了改进脑到文本嵌入映射技术的重要性。

Mar, 2024

在该论文中，我们首次探索了基于跨注意力的 “whisper” 模型，通过 MEG 信号直接生成文本，而无需教师强制，实现了令人印象深刻的 60.30 和 52.89 的 BLEU-1 得分，该论文还对有关神经解码任务的语音解码形成进行了全面的回顾。

Mar, 2024

提出了一种用于神经解码和脑预测的新模型 extsc {PredFT}，它结合了主要解码网络和用于预测编码的辅助网络，并通过交叉注意力将脑预测编码表示融入主要解码网络以促进语言模型的生成过程。在最大 BLEU-1 分数为 27.8% 的自然语言理解 fMRI 数据集 Narratives 上进行了实验，取得了当前最先进的解码性能。

May, 2024

通过使用大规模语言模型（LLM）与语义脑解码器相结合，直接从功能性磁共振成像（fMRI）输入中生成与视觉或听觉语言刺激内容紧密相关的连贯语言序列，这证明了利用脑机接口（BCIs）直接生成语言的潜力和可行性。

Nov, 2023

使用预训练语言模型对无创脑机接口（BCI）通过脑电图（EEG）信号进行解码的潜力进行了研究，提出了一个具有先进表示学习方法的无创脑电记录的端到端深度学习框架，并使用新的评估指标验证了该框架在解码效果方面的优越性。

Nov, 2023

使用 CoCa 模型，本文提出了一种简单而有效的生成框架 BrainChat，旨在从脑活动中快速实现语义信息解码任务，包括 fMRI 问题回答和 fMRI 字幕生成，通过编码稀疏的 fMRI 数据，利用对比损失将 fMRI、图像和文本嵌入对齐，然后通过交叉注意层将 fMRI 嵌入映射到生成的脑解码器，以最小化字幕损失的方式以回归的方式生成有关 fMRI 的文本内容。成功地超过了现有状态 - of-the-art 方法在 fMRI 字幕生成任务中，并首次实现了 fMRI 问题回答。此外，BrainChat 在没有图像数据的情况下仍可以实现高性能，更适用于现实世界的数据有限场景。

Jun, 2024

通过使用基于信息的评估指标，本研究提出了两种方法来改进现有先进的连续文本解码器，展示了这些方法的相互配合可将脑解码性能提高 40% 以上，并通过实证研究证明脑到文本解码具有 Zipfian 幂律动力学特性，最终通过信息度量方法量化解码误差的主要来源并估算了基于 fMRI 的文本解码器的理想性能与当前模型的差距，得出进一步改进算法可以实现实用脑到文本解码器的结论。

May, 2024

通过大规模的功能性磁共振成像 (fMRI) 数据集，本研究提出并使用了一种新的模态不可知解码器，能够将大范围的视觉、语言和多模态模型的脑信号映射到刺激表示上，发现模态不可知解码器表现与模态特定解码器相当甚至更好，并且单模态解码器表现与多模态解码器相当，同时高级的视觉区域可以很好地解码文本和图像刺激。

Mar, 2024

利用深度语言模型与人脑之间的相似性，以模型为基础的方法成功地复制了一项神经元相关语言研究，比较了听取常规和乱序叙述的七名受试者的功能磁共振成像，并进一步扩展和精确到 305 名听取 4.1 小时叙述故事的个体的脑信号，从而为大规模且灵活地分析语言的神经基础铺平了道路。

Oct, 2021