CVPRMar, 2024

人脑活动反映的图像重建的智能拟合模型

PDF
TL;DR通过利用人脑活动重建观察图像，脑机接口连接了人类视觉和计算机视觉。本文中，我们设计了心理测量法（Psychometry），一种用于从不同受试者获取的功能磁共振成像（fMRI）重建图像的全适应模型。心理测量法结合了全专家混合（Omni MoE）模块，其中所有专家共同工作以捕捉受试者之间的共性，而每个与受试者特定参数相关联的专家则应对个体差异。此外，心理测量法还配备了一种称为回想（Ecphory）的检索增强推理策略，旨在通过从预存的受试者专用记忆中检索来增强学习到的 fMRI 表示。这些设计集体使心理测量法全适应且高效，使其能够在受试者之间捕捉到受试者间的共性和个体特异性。因此，增强的 fMRI 表示作为条件信号指导生成模型重建高质量和逼真的图像，确立了心理测量法在高级和低级指标上的全球领先地位。
reconstructing viewed imagesbrain-computer interfacepsychometryfunctional magnetic resonance imagingomni mixture-of-experts
发现论文，激发创造
  • 脑电波探幽者：从大脑活动中重构复杂图像

    本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。

    Sep, 2022

  • MindShot: 仅使用一张图像的大脑解码框架

    提出一种名为 MindShot 的新框架，通过利用跨主体的先验知识实现有效的少样本脑解码，能够在少样本场景中重建语义准确的图像，并且在性能上优于基于每个主体每个模型范式的方法。

    May, 2024

  • MindEye2: 共享主体模型实现 1 小时数据的 fMRI-to-Image

    使用仅 1 小时的 fMRI 训练数据展示了高质量的知觉重建，我们通过在 7 个受试者上进行预训练并在新受试者上进行微调的方法，通过功能对齐和 CLIP 图像空间的映射，实现了对知觉的准确重建。

    Mar, 2024

  • 脑优化推理改进功能磁共振成像的脑活动重建

    通过优化解码方法，将重构结果与脑活动一致性结合，通过迭代优化小样本图像库，我们证明了脑优化推理在改善重构质量和探索视觉脑区不同表征多样性方面的潜力。

    Dec, 2023

  • 脑解码：朝着实时重建视觉感知迈进

    通过基于高时间分辨率的 MEG 测量脑活动，利用生成型和基础型人工智能系统解码大脑活动，特别是通过功能性磁共振成像 (fMRI) 解码视觉感知，从而在实时应用方面取得了重大进展。

    Oct, 2023

  • 脑形式化：将 MRI 脑功能建模到机器视觉中

    通过引入新颖的基于 Transformer 的 Brainformer 方法，分析人类感知系统中 fMRI 模式，并将其作为监督机制应用于机器视觉模型，通过实验证明，在各种图像识别任务中，利用 fMRI 信息可以实现与当前最先进方法相比的潜在结果。

    Nov, 2023

  • 脑力到图像：将大脑的视觉心理想象从 fMRI 投影出来

    通过 fMRI 数据和修改的 fMRI-to-image 模型，我们首次在记忆和纯想象两种模式下，从视觉想象中重建图像的可行性，从而迈出了直接重建视觉想象的技术的重要一步。

    Apr, 2024

  • 透视他们的思维：从跨受试者的 fMRI 学习可迁移的神经表达

    我们提出了一种新的方法来解决功能磁共振成像（fMRI）数据稀缺和噪声干扰脑解码模型性能的问题，通过浅层主体特定适配器将跨学科的 fMRI 数据映射到统一的表示中，然后使用共享的深层解码模型将跨学科特征解码为目标特征空间，利用视觉和文本监督进行多模态脑解码的训练，实验证明了我们模型在所有科目中的鲁棒神经表示学习，并且将高级和低级信息相结合可以改善重建度量。

    Mar, 2024

  • Second Sight: 使用脑部优化的编码模型将图像分布与人类脑活动对齐

    提出了一种名为 Second Sight 的新型重建过程，该过程通过迭代方式显式最大化挑战任何目标图像所引起的脑活动模式的体素编码模型的预测与脑活动模式之间的对齐，从而在语义内容和低级图像细节方面不断改进损伤图像，解决了多种输入图像问题。

    Jun, 2023

  • 重塑心智之眼：对比学习和扩散先验的 fMRI 图像生成

    本文提出了一种名为 MindEye 的新型 fMRI 到图像转换方法，通过对比学习和扩散优先使用两个并行子模块来实现图像的检索和重建，将 fMRI 脑活动映射到高维多模态潜在空间，使用生成模型从该潜在空间接受嵌入以进行图片重建和精确检索。通过实验证明 MindEye 在重建和检索任务方面具有最先进的性能。

    May, 2023