我们提出了一种新的方法来解决功能磁共振成像（fMRI）数据稀缺和噪声干扰脑解码模型性能的问题，通过浅层主体特定适配器将跨学科的 fMRI 数据映射到统一的表示中，然后使用共享的深层解码模型将跨学科特征解码为目标特征空间，利用视觉和文本监督进行多模态脑解码的训练，实验证明了我们模型在所有科目中的鲁棒神经表示学习，并且将高级和低级信息相结合可以改善重建度量。

Mar, 2024

通过生物启发的聚合函数和新颖的循环 fMRI 重建机制，提出了一种新的跨被试脑解码方法 MindBridge，能够实现跨被试脑解码，并能通过循环重建的 fMRI 实现新颖的 fMRI 合成和伪数据增强。实验证明 MindBridge 能够竞争性地为多个被试重建图像，并且在有限的新被试数据中达到较高的解码准确性，超过专门针对被试的模型。这种跨被试脑解码的进展为神经科学领域提供了更广泛的应用方向，并表明在现实场景中更高效地利用有限的 fMRI 数据的潜力。

Apr, 2024

提出一种名为 MindShot 的新框架，通过利用跨主体的先验知识实现有效的少样本脑解码，能够在少样本场景中重建语义准确的图像，并且在性能上优于基于每个主体每个模型范式的方法。

May, 2024

通过数据对齐方法，我们的研究旨在引入一种针对跨个体大脑解码的泛化技术。我们使用了 NSD 数据集，利用多个受试者的数据对齐，对跨个体大脑解码进行了训练和测试，证实了即使使用约 10% 的数据或 982 个共同图像，交叉个体的大脑解码也是可行的，与单个个体解码相比性能相当。岭回归是最佳的功能对齐方法，通过受试者对齐，我们实现了更优秀的大脑解码以及可能的扫描时间缩减 90%，为更高效的实验和领域的进一步突破铺平了道路，通常需要耗费昂贵的每个受试者的 20 小时扫描时间。

Aug, 2023

采用深度学习和脑解码技术，本研究通过跨参与者对齐脑响应视频和静态图像，提高了脑解码性能，并将神经表征与脑解剖结构相一致，为扩展神经成像数据集和增强有限脑记录的个体解码奠定了基础。

Dec, 2023

使用仅 1 小时的 fMRI 训练数据展示了高质量的知觉重建，我们通过在 7 个受试者上进行预训练并在新受试者上进行微调的方法，通过功能对齐和 CLIP 图像空间的映射，实现了对知觉的准确重建。

Mar, 2024

通过大规模的功能性磁共振成像 (fMRI) 数据集，本研究提出并使用了一种新的模态不可知解码器，能够将大范围的视觉、语言和多模态模型的脑信号映射到刺激表示上，发现模态不可知解码器表现与模态特定解码器相当甚至更好，并且单模态解码器表现与多模态解码器相当，同时高级的视觉区域可以很好地解码文本和图像刺激。

Mar, 2024

通过脑活动捕获的功能性磁共振成像解译人类视觉体验是神经科学研究领域的前沿挑战之一。本文介绍了 MindSemantix，这是一种新颖的多模态框架，使语言模型能够理解脑活动中唤起的语义内容，并形成无缝连接的端到端脑 - 语言模型。

May, 2024

通过 fMRI 信号解释感知到的视觉刺激为自然语言的一种非侵入性神经解码器 MindGPT，该模型建立在具有交叉注意机制的视觉引导神经编码器上，并通过大型语言模型 GPT 的协同使用来将潜在的神经表示引导到期望的语义方向，从而使 MindGPT 的神经表示具有可解释性，可以用来评估视觉属性对语义的贡献。实验证明生成的词序列真实地代表了感知刺激中传达的视觉信息（具有关键细节），结果还表明，对于语言解码任务，高级视觉皮层（HVC）比低级视觉皮层（LVC）更具语义信息，仅使用 HVC 就可以恢复大部分语义信息。MindGPT 模型的代码将公开发布在此 https URL 上。

Sep, 2023

通过 Lite-Mind，基于离散傅里叶变换的轻量级、高效且通用的脑表示网络，我们成功地在 NSD 数据集的 Subject 1 上实现了 94.3% 的 fMRI 到图像检索准确率，比 MindEye 少 98.7% 的参数，并且在 GOD 数据集上实现了零样本分类的新的最先进成果。

Dec, 2023