提出了一种用于神经解码和脑预测的新模型 extsc {PredFT}，它结合了主要解码网络和用于预测编码的辅助网络，并通过交叉注意力将脑预测编码表示融入主要解码网络以促进语言模型的生成过程。在最大 BLEU-1 分数为 27.8% 的自然语言理解 fMRI 数据集 Narratives 上进行了实验，取得了当前最先进的解码性能。

May, 2024

通过人脑活动诱发的视觉刺激来进行图像重建和字幕生成，UniBrain 提出了一种统一的人脑活动扩散模型，通过 fMRI 转换文本和图像潜在信息，并通过 CLIP 引导反向扩散过程，从而生成具有低级细节和高语义真实感的图像和字幕。在图像重建和图像字幕生成方面，UniBrain 在定性和定量方面都优于现有方法，并首次在自然场景数据集（NSD）上报告了图像字幕生成结果。此外，消融实验和感兴趣区域（ROI）分析进一步展示了 UniBrain 的优越性，并为视觉诱发脑解码提供全面的见解。

Aug, 2023

非侵入性的认知信号解码为自然语言一直是建立实用脑 - 计算机接口（BCIs）的目标。最近的重要里程碑成功地将认知信号如功能磁共振成像（fMRI）和脑电图（EEG）在开放词汇设置下解码为文本。然而，如何在认知信号解码任务中拆分训练、验证和测试数据集仍然存在争议。本文对当前数据集拆分方法进行了系统分析，发现数据污染的存在大大夸大了模型性能。为了消除数据污染的影响和公平评估不同模型的泛化能力，我们提出了一种新的分裂方法用于不同类型的认知数据集（例如 fMRI，EEG）。我们还测试了在提出的数据集分裂模式下的 SOTA 脑 - 文本解码模型的性能作为后续研究的基准。

Dec, 2023

使用 CoCa 模型，本文提出了一种简单而有效的生成框架 BrainChat，旨在从脑活动中快速实现语义信息解码任务，包括 fMRI 问题回答和 fMRI 字幕生成，通过编码稀疏的 fMRI 数据，利用对比损失将 fMRI、图像和文本嵌入对齐，然后通过交叉注意层将 fMRI 嵌入映射到生成的脑解码器，以最小化字幕损失的方式以回归的方式生成有关 fMRI 的文本内容。成功地超过了现有状态 - of-the-art 方法在 fMRI 字幕生成任务中，并首次实现了 fMRI 问题回答。此外，BrainChat 在没有图像数据的情况下仍可以实现高性能，更适用于现实世界的数据有限场景。

Jun, 2024

通过生物启发的聚合函数和新颖的循环 fMRI 重建机制，提出了一种新的跨被试脑解码方法 MindBridge，能够实现跨被试脑解码，并能通过循环重建的 fMRI 实现新颖的 fMRI 合成和伪数据增强。实验证明 MindBridge 能够竞争性地为多个被试重建图像，并且在有限的新被试数据中达到较高的解码准确性，超过专门针对被试的模型。这种跨被试脑解码的进展为神经科学领域提供了更广泛的应用方向，并表明在现实场景中更高效地利用有限的 fMRI 数据的潜力。

Apr, 2024

本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。

Sep, 2022

本文介绍了一种对开放词汇的象限脑电图 (EEG)- 到 - 文本序列到序列解码和零样本句子情感分类的方法，并借助预训练语言模型 (例如 BART) 建立一个新的框架，该模型能够处理来自不同受试者和来源的数据，并证明了该模型可以一旦足够的数据可用，有望成为高性能的开放词汇脑到文本系统。

Dec, 2021

通过使用 EEG2TEXT 方法，借助 EEG 预训练和多视图变压器，能够从脑电图信号中提取更准确的开放词汇解码，并在绝对 BLEU 和 ROUGE 得分上超过现有基线方法高达 5%，显示出高性能开放词汇脑机接口与文本系统用于促进交流的巨大潜力。

May, 2024

该研究采用 fMRI 技术和图像生成模型，提出了一种基于大脑神经活动解码为图像文字的方法，该方法包括图像重建流程和基于深度图的图像生成模型，实验证明其在神经科学方面具有广泛应用的潜力。

May, 2023

在理解人类大脑视觉处理的复杂性中，从大脑活动中重建动态视觉体验成为一项具有挑战性且引人入胜的努力。本研究引入了 NeuroCine，一种新颖的双相框架，针对解码 fMRI 数据中固有的挑战，如噪声、空间冗余和时间滞后。该框架通过对比学习 fMRI 表示进行空间遮蔽和时间插值增强，以及依赖性先验噪声增强的扩散模型用于视频生成。在一个公开可用的 fMRI 数据集上进行了测试，我们的方法显示出有希望的结果，通过 SSIM 测量，在解码三个主题的 fMRI 数据集中，与先前最先进的模型相比，分别提高了 20.97％，31.00％和 12.30％。此外，我们的注意力分析表明该模型与现有的大脑结构和功能相吻合，表明其具有生物学合理性和可解释性。

Feb, 2024