CVPRApr, 2024

MindBridge: 跨主体脑解码框架

PDF
TL;DR通过生物启发的聚合函数和新颖的循环 fMRI 重建机制，提出了一种新的跨被试脑解码方法 MindBridge，能够实现跨被试脑解码，并能通过循环重建的 fMRI 实现新颖的 fMRI 合成和伪数据增强。实验证明 MindBridge 能够竞争性地为多个被试重建图像，并且在有限的新被试数据中达到较高的解码准确性，超过专门针对被试的模型。这种跨被试脑解码的进展为神经科学领域提供了更广泛的应用方向，并表明在现实场景中更高效地利用有限的 fMRI 数据的潜力。
发现论文，激发创造
  • 透过他们的眼睛：简单对齐技术的多受试者脑解码

    通过数据对齐方法，我们的研究旨在引入一种针对跨个体大脑解码的泛化技术。我们使用了 NSD 数据集，利用多个受试者的数据对齐，对跨个体大脑解码进行了训练和测试，证实了即使使用约 10% 的数据或 982 个共同图像，交叉个体的大脑解码也是可行的，与单个个体解码相比性能相当。岭回归是最佳的功能对齐方法，通过受试者对齐，我们实现了更优秀的大脑解码以及可能的扫描时间缩减 90%，为更高效的实验和领域的进一步突破铺平了道路，通常需要耗费昂贵的每个受试者的 20 小时扫描时间。

    Aug, 2023

  • 透视他们的思维：从跨受试者的 fMRI 学习可迁移的神经表达

    我们提出了一种新的方法来解决功能磁共振成像（fMRI）数据稀缺和噪声干扰脑解码模型性能的问题，通过浅层主体特定适配器将跨学科的 fMRI 数据映射到统一的表示中，然后使用共享的深层解码模型将跨学科特征解码为目标特征空间，利用视觉和文本监督进行多模态脑解码的训练，实验证明了我们模型在所有科目中的鲁棒神经表示学习，并且将高级和低级信息相结合可以改善重建度量。

    Mar, 2024

  • MindShot: 仅使用一张图像的大脑解码框架

    提出一种名为 MindShot 的新框架，通过利用跨主体的先验知识实现有效的少样本脑解码，能够在少样本场景中重建语义准确的图像，并且在性能上优于基于每个主体每个模型范式的方法。

    May, 2024

  • 脑功能对新受试者的视觉语义解码起促进作用

    采用深度学习和脑解码技术，本研究通过跨参与者对齐脑响应视频和静态图像，提高了脑解码性能，并将神经表征与脑解剖结构相一致，为扩展神经成像数据集和增强有限脑记录的个体解码奠定了基础。

    Dec, 2023

  • MindTuner：基于视觉指纹和语义纠正的跨个体视觉解码

    利用 1 小时的 fMRI 训练数据，结合人类视觉系统中的视觉指纹和一种新颖的 fMRI-to-text 对齐方法，我们提出了 MindTuner 用于跨主体视觉解码，实现了高质量和丰富语义的重建，结果表明 MindTuner 在自然场景数据集 (NSD) 上的表现优于最先进的跨主体视觉解码模型。

    Apr, 2024

  • 深度神经网络与脑部对齐：脑编码与解码（调研）

    研究通过功能性磁共振成像对大脑的记录，分析了编码模型和解码模型的应用，尤其关注深度学习算法的效果、好处和限制，并总结了神经科学数据集的代表性研究。

    Jul, 2023

  • 脑解码：朝着实时重建视觉感知迈进

    通过基于高时间分辨率的 MEG 测量脑活动，利用生成型和基础型人工智能系统解码大脑活动，特别是通过功能性磁共振成像 (fMRI) 解码视觉感知，从而在实时应用方面取得了重大进展。

    Oct, 2023

  • MindFormer: 基于 fMRI 的多受试者脑解码的 Transformer 架构

    通过与脑功能磁共振成像数据相关联的 MindFormer 模型，结合 Stable Diffusion 方法，能够在多个受试者上生成语义一致的图像，从而显著提高多个受试者的脑解码准确性。

    May, 2024

  • 脑电波探幽者：从大脑活动中重构复杂图像

    本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。

    Sep, 2022

  • 从脑活动中解码高分辨率图像的对比、关注和扩散

    介绍了一个两阶段的 fMRI 表示学习框架，通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪，并在第二阶段利用图像自动编码器的指导来调整特征学习者，以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激，实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性，50 种不同目标的情境下，top-1 语义分类的准确率比先前最先进的方法提高了 39.34％。

    May, 2023