Brain-Diffuser: 使用生成潜在扩散从 fMRI 信号中重建自然场景

Mar, 2023

Brain-Diffuser: 使用生成潜在扩散从 fMRI 信号中重建自然场景

Brain-Diffuser: Natural scene reconstruction from fMRI signals using generative latent diffusion

Furkan Ozcelik, Rufin VanRullen

TL;DR利用神经解码技术和新型图像生成的巨大进展，我们提出了一个两阶段场景重建框架（Brain-Diffuser），它能够从 fMRI 信号中推断出场景的低级特征和整体布局，随后通过潜在扩散模型生成最终重建的图像。该方法在公开数据集基准测试中表现出色，在应用（例如脑机接口）和基础神经科学方面都有深远的影响。

Abstract

In neural decoding research, one of the most intriguing topics is the reconstruction of perceived natural images based on fmri signals. Previous studies have succeeded in re-creating different aspects of the visu

neural decoding fmri signals latent diffusion models scene reconstruction brain-diffuser

发现论文，激发创造

MindDiffuser：基于语义和结构扩散的人脑活动控制图像重建

本文提出了一种名为 MindDiffuser 的两阶段图像重构模型，利用了稳定扩散技术，成功地同时实现了语义和结构信息的重构，并在自然场景数据集方面的重建结果超过了当前最先进模型。

Mar, 2023

MindDiffuser：使用语义和结构扩散从人类大脑活动进行受控图像重建

我们提出了一种名为 MindDiffuser 的两阶段图像重建模型，通过使用 fMRI 进行前向估计和反向传播来实现想定图像的语义和结构信息的精确对齐，实验结果表明该模型在自然场景数据集上超过了现有的最先进模型，并且与相应的大脑反应呈现的多模态特征解释力一致，从而证实其神经生物学的合理性。

Aug, 2023

利用对比自监督和潜在扩散从脑活动解码现实图像

我们提出了一个名为 CnD 的两阶段框架，通过自监督对比学习获取功能磁共振成像数据的表示，并利用这些编码的数据重建视觉刺激，从而实现了基于人脑活动的可行的图像重建方法。

Sep, 2023

NeuralDiffuser: 基于主要视觉特征引导扩散的可控 fMRI 重建

利用 Latent Diffusion Models (LDM) 从功能性磁共振成像（fMRI）中重建视觉刺激，NeuralDiffuser 引入基于主要视觉特征的指导以提供细节线索，扩展 LDM 方法的自下而上过程，实现忠实的语义和细节，同时通过一种新颖的指导策略确保重复重构的一致性结果。在 Natural Senses Dataset (NSD) 上取得了 NeuralDiffuser 的最新性能，提供了更忠实的细节和一致的结果。

Feb, 2024

从脑活动中解码高分辨率图像的对比、关注和扩散

介绍了一个两阶段的 fMRI 表示学习框架，通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪，并在第二阶段利用图像自动编码器的指导来调整特征学习者，以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激，实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性，50 种不同目标的情境下，top-1 语义分类的准确率比先前最先进的方法提高了 39.34％。

May, 2023

利用多个解码输入通过潜在扩散模型改进从人脑活动中重建视觉图像

通过深度学习和神经科学的整合，本研究使用多种不同的解码技术对视觉体验的再建进行了实验，证明了这些技术能够大大提高基线准确率。

Jun, 2023

UniBrain：将图像重建与字幕生成统一于一个扩散模型之中从人脑活动

通过人脑活动诱发的视觉刺激来进行图像重建和字幕生成，UniBrain 提出了一种统一的人脑活动扩散模型，通过 fMRI 转换文本和图像潜在信息，并通过 CLIP 引导反向扩散过程，从而生成具有低级细节和高语义真实感的图像和字幕。在图像重建和图像字幕生成方面，UniBrain 在定性和定量方面都优于现有方法，并首次在自然场景数据集（NSD）上报告了图像字幕生成结果。此外，消融实验和感兴趣区域（ROI）分析进一步展示了 UniBrain 的优越性，并为视觉诱发脑解码提供全面的见解。

Aug, 2023

BrainNetDiff：基于多模态扩散模型的生成式人工智能助力脑网络生成

通过引入一种名为 BrainNetDiff 的新方法，结合多头变换器编码器从 fMRI 时间序列中提取相关特征，并结合条件潜在扩散模型进行大脑网络生成，从图像到图形的融合，显著提高了大脑网络生成的准确性和稳定性，验证了该框架在构建健康和神经学受损队列中的大脑网络方面的适用性，实验证明了该方法在下游疾病分类任务中的显著效果，突出了大脑网络研究的前景价值，特别是在神经影像学分析和疾病诊断中的关键意义，为多模态大脑影像数据处理提供了有价值的参考，并为神经影像领域引入了一种新的高效解决方案。

Nov, 2023

通过引导性随机搜索从人脑活动中重建已见图像

利用条件生成扩散模型对大脑活动中的语义描述符进行可视化重建，有效改善了搜索策略，同时保持了低级图像细节的精细度和语义信息的一致性，并且发现该过程的收敛时间与视觉皮层的区域差异有关。

Apr, 2023

脑电波探幽者：从大脑活动中重构复杂图像

本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。

Sep, 2022