本文提出了一种名为 MindEye 的新型 fMRI 到图像转换方法，通过对比学习和扩散优先使用两个并行子模块来实现图像的检索和重建，将 fMRI 脑活动映射到高维多模态潜在空间，使用生成模型从该潜在空间接受嵌入以进行图片重建和精确检索。通过实验证明 MindEye 在重建和检索任务方面具有最先进的性能。

May, 2023

使用仅 1 小时的 fMRI 训练数据展示了高质量的知觉重建，我们通过在 7 个受试者上进行预训练并在新受试者上进行微调的方法，通过功能对齐和 CLIP 图像空间的映射，实现了对知觉的准确重建。

Mar, 2024

我们提出了一种新的方法来解决功能磁共振成像（fMRI）数据稀缺和噪声干扰脑解码模型性能的问题，通过浅层主体特定适配器将跨学科的 fMRI 数据映射到统一的表示中，然后使用共享的深层解码模型将跨学科特征解码为目标特征空间，利用视觉和文本监督进行多模态脑解码的训练，实验证明了我们模型在所有科目中的鲁棒神经表示学习，并且将高级和低级信息相结合可以改善重建度量。

Mar, 2024

提出一种名为 MindShot 的新框架，通过利用跨主体的先验知识实现有效的少样本脑解码，能够在少样本场景中重建语义准确的图像，并且在性能上优于基于每个主体每个模型范式的方法。

May, 2024

通过与脑功能磁共振成像数据相关联的 MindFormer 模型，结合 Stable Diffusion 方法，能够在多个受试者上生成语义一致的图像，从而显著提高多个受试者的脑解码准确性。

May, 2024

本文提出了一种跨模态的大脑解码模型 BrainCLIP，通过将图像和文本监督在语义空间中相结合，将 fMRI 模式转换为 CLIP 嵌入空间，实现了自然图像的高级特征还原和语义解码。

Feb, 2023

本文提出了一种名为 MindDiffuser 的两阶段图像重构模型，利用了稳定扩散技术，成功地同时实现了语义和结构信息的重构，并在自然场景数据集方面的重建结果超过了当前最先进模型。

Mar, 2023

介绍了一个两阶段的 fMRI 表示学习框架，通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪，并在第二阶段利用图像自动编码器的指导来调整特征学习者，以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激，实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性，50 种不同目标的情境下，top-1 语义分类的准确率比先前最先进的方法提高了 39.34％。

May, 2023

通过 fMRI 信号解释感知到的视觉刺激为自然语言的一种非侵入性神经解码器 MindGPT，该模型建立在具有交叉注意机制的视觉引导神经编码器上，并通过大型语言模型 GPT 的协同使用来将潜在的神经表示引导到期望的语义方向，从而使 MindGPT 的神经表示具有可解释性，可以用来评估视觉属性对语义的贡献。实验证明生成的词序列真实地代表了感知刺激中传达的视觉信息（具有关键细节），结果还表明，对于语言解码任务，高级视觉皮层（HVC）比低级视觉皮层（LVC）更具语义信息，仅使用 HVC 就可以恢复大部分语义信息。MindGPT 模型的代码将公开发布在此 https URL 上。

Sep, 2023

通过生物启发的聚合函数和新颖的循环 fMRI 重建机制，提出了一种新的跨被试脑解码方法 MindBridge，能够实现跨被试脑解码，并能通过循环重建的 fMRI 实现新颖的 fMRI 合成和伪数据增强。实验证明 MindBridge 能够竞争性地为多个被试重建图像，并且在有限的新被试数据中达到较高的解码准确性，超过专门针对被试的模型。这种跨被试脑解码的进展为神经科学领域提供了更广泛的应用方向，并表明在现实场景中更高效地利用有限的 fMRI 数据的潜力。

Apr, 2024