在理解人类大脑视觉处理的复杂性中，从大脑活动中重建动态视觉体验成为一项具有挑战性且引人入胜的努力。本研究引入了 NeuroCine，一种新颖的双相框架，针对解码 fMRI 数据中固有的挑战，如噪声、空间冗余和时间滞后。该框架通过对比学习 fMRI 表示进行空间遮蔽和时间插值增强，以及依赖性先验噪声增强的扩散模型用于视频生成。在一个公开可用的 fMRI 数据集上进行了测试，我们的方法显示出有希望的结果，通过 SSIM 测量，在解码三个主题的 fMRI 数据集中，与先前最先进的模型相比，分别提高了 20.97％，31.00％和 12.30％。此外，我们的注意力分析表明该模型与现有的大脑结构和功能相吻合，表明其具有生物学合理性和可解释性。

Feb, 2024

提出了一种名为 Mind-Animator 的两阶段模型，通过脑活动数据可以重构人类动态视觉，并在三个公共数据集上达到最先进的性能，通过特征解耦和融合，证实了重构视频的神经学解释性。

May, 2024

本文研究自我监督方法来重建 fMRI 记录的自然视频，通过编码和解码自然视频的循环一致性以及利用大量外部自然视频，在提高适用的训练数据、引入视频先验以及保持时序一致性等方面取得了重大突破，相比于传统的只依靠有限受监督数据的方法，本文所提出的方法在性能上有了显著的提升。同时，作者还提出了一种简单的针对自然视频的时间先验，进一步提高了视频帧率。

Jun, 2022

我们提出了一种名为 MindDiffuser 的两阶段图像重建模型，通过使用 fMRI 进行前向估计和反向传播来实现想定图像的语义和结构信息的精确对齐，实验结果表明该模型在自然场景数据集上超过了现有的最先进模型，并且与相应的大脑反应呈现的多模态特征解释力一致，从而证实其神经生物学的合理性。

Aug, 2023

本文提出了一种名为 MindDiffuser 的两阶段图像重构模型，利用了稳定扩散技术，成功地同时实现了语义和结构信息的重构，并在自然场景数据集方面的重建结果超过了当前最先进模型。

Mar, 2023

利用条件生成扩散模型对大脑活动中的语义描述符进行可视化重建，有效改善了搜索策略，同时保持了低级图像细节的精细度和语义信息的一致性，并且发现该过程的收敛时间与视觉皮层的区域差异有关。

Apr, 2023

从功能性磁共振成像（fMRI）信号中重建 3D 视觉，引入了 Recon3DMind 任务；使用 360 度全景视频的 fMRI-Shape 数据集支持这一任务；提出了 MinD-3D 三阶段框架，从 fMRI 信号中解码和重建大脑的 3D 视觉信息；通过有效提取与 fMRI 信号中的视觉兴趣区域高度相关的特征，实现了对高语义相关性和空间相似性的 3D 对象的重建，并深入了解人脑的 3D 视觉处理能力。

Dec, 2023

通过将 EEG 信号分解成多个单元并自我监督学习获取时间域特征，利用频域特征增强 EEG 表示，将 EEG 时频嵌入与 CLIP 空间中的粗粒度语义插值对齐，使用级联扩散模型重建图像，我们提出的 BrainVis 在语义保真度重建和生成质量方面均优于现有技术，值得注意的是，我们将训练数据规模降低到以前的 10%。

Dec, 2023

本文提出了一种名为 MindEye 的新型 fMRI 到图像转换方法，通过对比学习和扩散优先使用两个并行子模块来实现图像的检索和重建，将 fMRI 脑活动映射到高维多模态潜在空间，使用生成模型从该潜在空间接受嵌入以进行图片重建和精确检索。通过实验证明 MindEye 在重建和检索任务方面具有最先进的性能。

May, 2023

本文介绍了一种名为 NeuroImagen 的综合流程，用于从动态的脑电信号（EEG 信号）中重构高分辨率的视觉刺激图像，并通过多层次的感知信息解码提取实用信息，实验结果表明该方法在图像重构方面具有显著的效果和卓越的定量性能。

Jul, 2023