Apr, 2024

脑力到图像：将大脑的视觉心理想象从 fMRI 投影出来

PDF
TL;DR通过 fMRI 数据和修改的 fMRI-to-image 模型，我们首次在记忆和纯想象两种模式下，从视觉想象中重建图像的可行性，从而迈出了直接重建视觉想象的技术的重要一步。
fmri datavisual reconstructionvisual imaginationdata collection protocolsimagination reconstruction
发现论文，激发创造
  • 脑电波探幽者：从大脑活动中重构复杂图像

    本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。

    Sep, 2022

  • 利用脑部活动预测想象的内容

    研究使用机器学习技术对人脑成像数据进行分类，统计分析显示无论奖励是想象还是视觉呈现，人类中脑区域都会被激活。

    Jun, 2021

  • 重塑心智之眼：对比学习和扩散先验的 fMRI 图像生成

    本文提出了一种名为 MindEye 的新型 fMRI 到图像转换方法，通过对比学习和扩散优先使用两个并行子模块来实现图像的检索和重建，将 fMRI 脑活动映射到高维多模态潜在空间，使用生成模型从该潜在空间接受嵌入以进行图片重建和精确检索。通过实验证明 MindEye 在重建和检索任务方面具有最先进的性能。

    May, 2023

  • MindDiffuser：基于语义和结构扩散的人脑活动控制图像重建

    本文提出了一种名为 MindDiffuser 的两阶段图像重构模型，利用了稳定扩散技术，成功地同时实现了语义和结构信息的重构，并在自然场景数据集方面的重建结果超过了当前最先进模型。

    Mar, 2023

  • 思维动画化：从缓慢的脑活动中解耦动态自然视觉重建

    提出了一种名为 Mind-Animator 的两阶段模型，通过脑活动数据可以重构人类动态视觉，并在三个公共数据集上达到最先进的性能，通过特征解耦和融合，证实了重构视频的神经学解释性。

    May, 2024

  • 基于 3T fMRI 数据和无监督学习的视网膜视觉图像重建

    通过无监督生成对抗网络 (GAN) 结合 7T 和 3T 两个不同的 fMRI 数据集，本文提出了一种新的框架来生成改进的 3T fMRI 数据，克服高质量 7-Tesla 数据的稀缺性和 3-Tesla 实验中简短和低质量扫描的挑战，证明了该方法在生成优质输入视觉图像方面相对于在单个主题上进行训练和测试的数据密集型方法的能力。

    Apr, 2024

  • 透视大脑：从人脑信号重建视觉感知

    本文介绍了一种名为 NeuroImagen 的综合流程，用于从动态的脑电信号（EEG 信号）中重构高分辨率的视觉刺激图像，并通过多层次的感知信息解码提取实用信息，实验结果表明该方法在图像重构方面具有显著的效果和卓越的定量性能。

    Jul, 2023

  • MindEye2: 共享主体模型实现 1 小时数据的 fMRI-to-Image

    使用仅 1 小时的 fMRI 训练数据展示了高质量的知觉重建，我们通过在 7 个受试者上进行预训练并在新受试者上进行微调的方法，通过功能对齐和 CLIP 图像空间的映射，实现了对知觉的准确重建。

    Mar, 2024

  • MinD-3D: 人类大脑高质量三维物体重建

    从功能性磁共振成像（fMRI）信号中重建 3D 视觉，引入了 Recon3DMind 任务；使用 360 度全景视频的 fMRI-Shape 数据集支持这一任务；提出了 MinD-3D 三阶段框架，从 fMRI 信号中解码和重建大脑的 3D 视觉信息；通过有效提取与 fMRI 信号中的视觉兴趣区域高度相关的特征，实现了对高语义相关性和空间相似性的 3D 对象的重建，并深入了解人脑的 3D 视觉处理能力。

    Dec, 2023

  • 脑解码：朝着实时重建视觉感知迈进

    通过基于高时间分辨率的 MEG 测量脑活动，利用生成型和基础型人工智能系统解码大脑活动，特别是通过功能性磁共振成像 (fMRI) 解码视觉感知，从而在实时应用方面取得了重大进展。

    Oct, 2023