Mar, 2024

NeuroPictor：通过多个个体预训练和多级调节改进 fMRI 到图像重建

PDF
TL;DR本研究提出了一种名为 NeuroPictor 的方法，通过直接调节扩散模型的生成过程，利用 fMRI 信号从中提取高级语义特征，并使用低级操作网络对扩散模型进行精细调整，从而实现准确的结构指令，进一步提高 fMRI 到图像的解码能力，尤其在同一受试者的情境中。
fmri-to-imagediffusion modelsneuropictorcalibrated-encodingwithin-subject setting
发现论文，激发创造
  • 透视他们的思维：从跨受试者的 fMRI 学习可迁移的神经表达

    我们提出了一种新的方法来解决功能磁共振成像（fMRI）数据稀缺和噪声干扰脑解码模型性能的问题，通过浅层主体特定适配器将跨学科的 fMRI 数据映射到统一的表示中，然后使用共享的深层解码模型将跨学科特征解码为目标特征空间，利用视觉和文本监督进行多模态脑解码的训练，实验证明了我们模型在所有科目中的鲁棒神经表示学习，并且将高级和低级信息相结合可以改善重建度量。

    Mar, 2024

  • 脑电波探幽者：从大脑活动中重构复杂图像

    本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。

    Sep, 2022

  • 从脑活动中解码高分辨率图像的对比、关注和扩散

    介绍了一个两阶段的 fMRI 表示学习框架，通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪，并在第二阶段利用图像自动编码器的指导来调整特征学习者，以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激，实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性，50 种不同目标的情境下，top-1 语义分类的准确率比先前最先进的方法提高了 39.34％。

    May, 2023

  • MindDiffuser：基于语义和结构扩散的人脑活动控制图像重建

    本文提出了一种名为 MindDiffuser 的两阶段图像重构模型，利用了稳定扩散技术，成功地同时实现了语义和结构信息的重构，并在自然场景数据集方面的重建结果超过了当前最先进模型。

    Mar, 2023

  • NeuralDiffuser: 基于主要视觉特征引导扩散的可控 fMRI 重建

    利用 Latent Diffusion Models (LDM) 从功能性磁共振成像（fMRI）中重建视觉刺激，NeuralDiffuser 引入基于主要视觉特征的指导以提供细节线索，扩展 LDM 方法的自下而上过程，实现忠实的语义和细节，同时通过一种新颖的指导策略确保重复重构的一致性结果。在 Natural Senses Dataset (NSD) 上取得了 NeuralDiffuser 的最新性能，提供了更忠实的细节和一致的结果。

    Feb, 2024

  • 重塑心智之眼：对比学习和扩散先验的 fMRI 图像生成

    本文提出了一种名为 MindEye 的新型 fMRI 到图像转换方法，通过对比学习和扩散优先使用两个并行子模块来实现图像的检索和重建，将 fMRI 脑活动映射到高维多模态潜在空间，使用生成模型从该潜在空间接受嵌入以进行图片重建和精确检索。通过实验证明 MindEye 在重建和检索任务方面具有最先进的性能。

    May, 2023

  • MindEye2: 共享主体模型实现 1 小时数据的 fMRI-to-Image

    使用仅 1 小时的 fMRI 训练数据展示了高质量的知觉重建，我们通过在 7 个受试者上进行预训练并在新受试者上进行微调的方法，通过功能对齐和 CLIP 图像空间的映射，实现了对知觉的准确重建。

    Mar, 2024

  • Brain-Diffuser: 使用生成潜在扩散从 fMRI 信号中重建自然场景

    利用神经解码技术和新型图像生成的巨大进展，我们提出了一个两阶段场景重建框架（Brain-Diffuser），它能够从 fMRI 信号中推断出场景的低级特征和整体布局，随后通过潜在扩散模型生成最终重建的图像。该方法在公开数据集基准测试中表现出色，在应用（例如脑机接口）和基础神经科学方面都有深远的影响。

    Mar, 2023

  • MindTuner：基于视觉指纹和语义纠正的跨个体视觉解码

    利用 1 小时的 fMRI 训练数据，结合人类视觉系统中的视觉指纹和一种新颖的 fMRI-to-text 对齐方法，我们提出了 MindTuner 用于跨主体视觉解码，实现了高质量和丰富语义的重建，结果表明 MindTuner 在自然场景数据集 (NSD) 上的表现优于最先进的跨主体视觉解码模型。

    Apr, 2024

  • MindFormer: 基于 fMRI 的多受试者脑解码的 Transformer 架构

    通过与脑功能磁共振成像数据相关联的 MindFormer 模型，结合 Stable Diffusion 方法，能够在多个受试者上生成语义一致的图像，从而显著提高多个受试者的脑解码准确性。

    May, 2024