我们提出了一种新的方法来解决功能磁共振成像（fMRI）数据稀缺和噪声干扰脑解码模型性能的问题，通过浅层主体特定适配器将跨学科的 fMRI 数据映射到统一的表示中，然后使用共享的深层解码模型将跨学科特征解码为目标特征空间，利用视觉和文本监督进行多模态脑解码的训练，实验证明了我们模型在所有科目中的鲁棒神经表示学习，并且将高级和低级信息相结合可以改善重建度量。

Mar, 2024

通过生物启发的聚合函数和新颖的循环 fMRI 重建机制，提出了一种新的跨被试脑解码方法 MindBridge，能够实现跨被试脑解码，并能通过循环重建的 fMRI 实现新颖的 fMRI 合成和伪数据增强。实验证明 MindBridge 能够竞争性地为多个被试重建图像，并且在有限的新被试数据中达到较高的解码准确性，超过专门针对被试的模型。这种跨被试脑解码的进展为神经科学领域提供了更广泛的应用方向，并表明在现实场景中更高效地利用有限的 fMRI 数据的潜力。

Apr, 2024

本文提出了一种名为 MindDiffuser 的两阶段图像重构模型，利用了稳定扩散技术，成功地同时实现了语义和结构信息的重构，并在自然场景数据集方面的重建结果超过了当前最先进模型。

Mar, 2023

通过 Lite-Mind，基于离散傅里叶变换的轻量级、高效且通用的脑表示网络，我们成功地在 NSD 数据集的 Subject 1 上实现了 94.3% 的 fMRI 到图像检索准确率，比 MindEye 少 98.7% 的参数，并且在 GOD 数据集上实现了零样本分类的新的最先进成果。

Dec, 2023

通过脑活动捕获的功能性磁共振成像解译人类视觉体验是神经科学研究领域的前沿挑战之一。本文介绍了 MindSemantix，这是一种新颖的多模态框架，使语言模型能够理解脑活动中唤起的语义内容，并形成无缝连接的端到端脑 - 语言模型。

May, 2024

通过引入一种名为 BrainNetDiff 的新方法，结合多头变换器编码器从 fMRI 时间序列中提取相关特征，并结合条件潜在扩散模型进行大脑网络生成，从图像到图形的融合，显著提高了大脑网络生成的准确性和稳定性，验证了该框架在构建健康和神经学受损队列中的大脑网络方面的适用性，实验证明了该方法在下游疾病分类任务中的显著效果，突出了大脑网络研究的前景价值，特别是在神经影像学分析和疾病诊断中的关键意义，为多模态大脑影像数据处理提供了有价值的参考，并为神经影像领域引入了一种新的高效解决方案。

Nov, 2023

提出一种名为 MindShot 的新框架，通过利用跨主体的先验知识实现有效的少样本脑解码，能够在少样本场景中重建语义准确的图像，并且在性能上优于基于每个主体每个模型范式的方法。

May, 2024

我们提出了一种名为 MindDiffuser 的两阶段图像重建模型，通过使用 fMRI 进行前向估计和反向传播来实现想定图像的语义和结构信息的精确对齐，实验结果表明该模型在自然场景数据集上超过了现有的最先进模型，并且与相应的大脑反应呈现的多模态特征解释力一致，从而证实其神经生物学的合理性。

Aug, 2023

介绍了一个两阶段的 fMRI 表示学习框架，通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪，并在第二阶段利用图像自动编码器的指导来调整特征学习者，以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激，实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性，50 种不同目标的情境下，top-1 语义分类的准确率比先前最先进的方法提高了 39.34％。

May, 2023

利用神经解码技术和新型图像生成的巨大进展，我们提出了一个两阶段场景重建框架（Brain-Diffuser），它能够从 fMRI 信号中推断出场景的低级特征和整体布局，随后通过潜在扩散模型生成最终重建的图像。该方法在公开数据集基准测试中表现出色，在应用（例如脑机接口）和基础神经科学方面都有深远的影响。

Mar, 2023