本文研究了如何通过结合fMRI神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉-语言潜在空间编码fMRI信号来解决数据稀缺的问题。

Sep, 2022

本文提出了一种使用双条件潜在扩散模型的 MinD-Vis：稀疏掩蔽脑建模方法，通过大型潜在空间中的掩蔽建模来学习 fMRI 数据的有效自我监督表示。实验证明，该方法在语义映射和生成质量方面都优于现有技术，并且只需很少的成对注释即可从脑记录中重建高度合理的图像。

Nov, 2022

该研究采用fMRI技术和图像生成模型，提出了一种基于大脑神经活动解码为图像文字的方法，该方法包括图像重建流程和基于深度图的图像生成模型，实验证明其在神经科学方面具有广泛应用的潜力。

May, 2023

介绍了一个两阶段的fMRI表示学习框架，通过在预处理阶段使用Double-contrastive Mask Auto-encoder降噪，并在第二阶段利用图像自动编码器的指导来调整特征学习者，以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的fMRI特征学习者条件下的潜在扩散模型重构图像刺激，实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性，50种不同目标的情境下，top-1语义分类的准确率比先前最先进的方法提高了39.34％。

May, 2023

研究通过功能性磁共振成像对大脑的记录，分析了编码模型和解码模型的应用，尤其关注深度学习算法的效果、好处和限制，并总结了神经科学数据集的代表性研究。

Jul, 2023

我们提出了一个名为CnD的两阶段框架，通过自监督对比学习获取功能磁共振成像数据的表示，并利用这些编码的数据重建视觉刺激，从而实现了基于人脑活动的可行的图像重建方法。

Sep, 2023

通过基于高时间分辨率的MEG测量脑活动，利用生成型和基础型人工智能系统解码大脑活动，特别是通过功能性磁共振成像(fMRI)解码视觉感知，从而在实时应用方面取得了重大进展。

Oct, 2023

在理解人类大脑视觉处理的复杂性中，从大脑活动中重建动态视觉体验成为一项具有挑战性且引人入胜的努力。本研究引入了NeuroCine，一种新颖的双相框架，针对解码fMRI数据中固有的挑战，如噪声、空间冗余和时间滞后。该框架通过对比学习fMRI表示进行空间遮蔽和时间插值增强，以及依赖性先验噪声增强的扩散模型用于视频生成。在一个公开可用的fMRI数据集上进行了测试，我们的方法显示出有希望的结果，通过SSIM测量，在解码三个主题的fMRI数据集中，与先前最先进的模型相比，分别提高了20.97％，31.00％和12.30％。此外，我们的注意力分析表明该模型与现有的大脑结构和功能相吻合，表明其具有生物学合理性和可解释性。

Feb, 2024

我们提出了一种新的方法来解决功能磁共振成像（fMRI）数据稀缺和噪声干扰脑解码模型性能的问题，通过浅层主体特定适配器将跨学科的fMRI数据映射到统一的表示中，然后使用共享的深层解码模型将跨学科特征解码为目标特征空间，利用视觉和文本监督进行多模态脑解码的训练，实验证明了我们模型在所有科目中的鲁棒神经表示学习，并且将高级和低级信息相结合可以改善重建度量。

Mar, 2024

本研究针对fMRI到图像重建任务中小物体细节缺失和语义模糊的问题，提出了一种基于多模态引导的重建框架Brain-Streams。该框架结合视觉和语义信息，利用现代生成模型（如潜在扩散模型）进行精确的图像重建，验证结果显示出优越的重建能力和应用潜力。

Sep, 2024