通过生物启发的聚合函数和新颖的循环 fMRI 重建机制,提出了一种新的跨被试脑解码方法 MindBridge,能够实现跨被试脑解码,并能通过循环重建的 fMRI 实现新颖的 fMRI 合成和伪数据增强。实验证明 MindBridge 能够竞争性地为多个被试重建图像,并且在有限的新被试数据中达到较高的解码准确性,超过专门针对被试的模型。这种跨被试脑解码的进展为神经科学领域提供了更广泛的应用方向,并表明在现实场景中更高效地利用有限的 fMRI 数据的潜力。
Apr, 2024
我们提出了一种新的方法来解决功能磁共振成像(fMRI)数据稀缺和噪声干扰脑解码模型性能的问题,通过浅层主体特定适配器将跨学科的 fMRI 数据映射到统一的表示中,然后使用共享的深层解码模型将跨学科特征解码为目标特征空间,利用视觉和文本监督进行多模态脑解码的训练,实验证明了我们模型在所有科目中的鲁棒神经表示学习,并且将高级和低级信息相结合可以改善重建度量。
Mar, 2024
通过 Lite-Mind,基于离散傅里叶变换的轻量级、高效且通用的脑表示网络,我们成功地在 NSD 数据集的 Subject 1 上实现了 94.3% 的 fMRI 到图像检索准确率,比 MindEye 少 98.7% 的参数,并且在 GOD 数据集上实现了零样本分类的新的最先进成果。
Dec, 2023
利用 1 小时的 fMRI 训练数据,结合人类视觉系统中的视觉指纹和一种新颖的 fMRI-to-text 对齐方法,我们提出了 MindTuner 用于跨主体视觉解码,实现了高质量和丰富语义的重建,结果表明 MindTuner 在自然场景数据集 (NSD) 上的表现优于最先进的跨主体视觉解码模型。
介绍了一个两阶段的 fMRI 表示学习框架,通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪,并在第二阶段利用图像自动编码器的指导来调整特征学习者,以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激,实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性,50 种不同目标的情境下,top-1 语义分类的准确率比先前最先进的方法提高了 39.34%。
May, 2023
采用深度学习和脑解码技术,本研究通过跨参与者对齐脑响应视频和静态图像,提高了脑解码性能,并将神经表征与脑解剖结构相一致,为扩展神经成像数据集和增强有限脑记录的个体解码奠定了基础。
本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景,使用深度学习模型,并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。
Sep, 2022
通过基于高时间分辨率的 MEG 测量脑活动,利用生成型和基础型人工智能系统解码大脑活动,特别是通过功能性磁共振成像 (fMRI) 解码视觉感知,从而在实时应用方面取得了重大进展。
Oct, 2023
使用仅 1 小时的 fMRI 训练数据展示了高质量的知觉重建,我们通过在 7 个受试者上进行预训练并在新受试者上进行微调的方法,通过功能对齐和 CLIP 图像空间的映射,实现了对知觉的准确重建。
通过数据对齐方法,我们的研究旨在引入一种针对跨个体大脑解码的泛化技术。我们使用了 NSD 数据集,利用多个受试者的数据对齐,对跨个体大脑解码进行了训练和测试,证实了即使使用约 10% 的数据或 982 个共同图像,交叉个体的大脑解码也是可行的,与单个个体解码相比性能相当。岭回归是最佳的功能对齐方法,通过受试者对齐,我们实现了更优秀的大脑解码以及可能的扫描时间缩减 90%,为更高效的实验和领域的进一步突破铺平了道路,通常需要耗费昂贵的每个受试者的 20 小时扫描时间。
Aug, 2023