Nov, 2023

fMRI-PTE：一种用于多被试脑活动解码的大规模 fMRI 预训练 Transformer 编码器

PDF
TL;DR脑活动解码的研究一直以来都是一个持久的追求，具有脑机接口、医学诊断和虚拟现实等潜在应用。我们提出了一种创新的 fMRI 预训练自编码器方法（fMRI-PTE），专注于解决因个体脑差异导致的 fMRI 数据维度变化的挑战。我们将 fMRI 信号转化为统一的二维表示，确保维度一致并保留独特的脑活动模式。我们引入了一种新颖的学习策略，针对预训练二维 fMRI 图像，提高重构品质。fMRI-PTE 通过与图像生成器的适应性，能够生成良好表示的 fMRI 特征，便于各种下游任务，包括同一受试者和跨受试者的脑活动解码。我们的贡献包括介绍 fMRI-PTE、创新的数据转化、高效的训练、新颖的学习策略以及我们方法的普适性。广泛的实验证实和支持了我们的观点，为该领域深入研究奠定了有希望的基础。
brain activityfmriauto-encoderpre-trainingbrain decoding
发现论文，激发创造
  • 自监督训练配对脑功能核磁共振数据的迁移学习应用于脑解码任务

    本文介绍了一种自监督预训练框架，用于基于功能性磁共振（fMRI）数据的变压器。作者在两种自监督任务上预训练模型，以教授模型人类听觉皮层在音乐听取期间的时间和空间动态。作者的预训练结果表明，多任务训练对 fMRI 数据具有协同效应。作者在监督 fMRI 分类任务上发现，微调预先训练的模型和训练额外的新模型都能够显著提高准确性，证明了预训练任务促进迁移学习的能力。

    May, 2023

  • 医用 Transformer：3D MRI 分析通用脑编码器

    本文提出了一种新的转移学习框架 —— 医学变压器，能够在充分利用三个平面信息的同时，有效地使用 2D 图像切片的序列建模三维体积图像。在大规模健康人脑磁共振成像数据集上进行自监督学习预训练后，评估结果表明，我们的做法优于现有 State-of-the-art 的转移学习方法，可将分类任务的参数数量有效减少近 92%。

    Apr, 2021

  • 通过物理知识引导的多任务转换器的嵌入网络理解听觉诱发的脑信号

    通过物理启发嵌入网络和深度学习技术，我们提出了一种创新的多任务学习模型 PEMT-Net，用于增强多任务听觉信号解码性能，从而超越现有方法并为理解大脑处理复杂听觉信息的机制提供新的见解。

    Jun, 2024

  • 透视他们的思维：从跨受试者的 fMRI 学习可迁移的神经表达

    我们提出了一种新的方法来解决功能磁共振成像（fMRI）数据稀缺和噪声干扰脑解码模型性能的问题，通过浅层主体特定适配器将跨学科的 fMRI 数据映射到统一的表示中，然后使用共享的深层解码模型将跨学科特征解码为目标特征空间，利用视觉和文本监督进行多模态脑解码的训练，实验证明了我们模型在所有科目中的鲁棒神经表示学习，并且将高级和低级信息相结合可以改善重建度量。

    Mar, 2024

  • MindFormer: 基于 fMRI 的多受试者脑解码的 Transformer 架构

    通过与脑功能磁共振成像数据相关联的 MindFormer 模型，结合 Stable Diffusion 方法，能够在多个受试者上生成语义一致的图像，从而显著提高多个受试者的脑解码准确性。

    May, 2024

  • 元转移的自监督知识：用于创伤后癫痫预测的基础模型

    通过深度学习和自我监督学习相结合的训练策略，我们提出了一种基础模型来改善将正常特征推广到临床特征，以实现从创伤性脑损伤后的数据对创伤性癫痫的预测等临床任务，并在神经系统疾病分类任务和零样本学习预测创伤性癫痫的应用中验证了该策略的有效性。

    Dec, 2023

  • 基于顺序迁移学习的 fMRI 数据解码听到和想象中的音色

    使用顺序迁移学习框架的转换器，可以有效地解码音乐音色，形成一种比现有方法更优的 fMRI 数据序列转换框架，用于预测不同 fMRI 数据序列是否记录了相同的音频音色。

    May, 2023

  • NeuroPictor：通过多个个体预训练和多级调节改进 fMRI 到图像重建

    本研究提出了一种名为 NeuroPictor 的方法，通过直接调节扩散模型的生成过程，利用 fMRI 信号从中提取高级语义特征，并使用低级操作网络对扩散模型进行精细调整，从而实现准确的结构指令，进一步提高 fMRI 到图像的解码能力，尤其在同一受试者的情境中。

    Mar, 2024

  • 众智储蓄的智慧：一种通用脑编码器

    我们提出了一种通用脑编码器，能够联合训练来自多个不同主体 / 数据集 / 机器的数据，通过直接计算脑体素嵌入和多级深度图像特征之间的交叉注意力来预测每个脑体素对每个图像的响应，并且利用学习到的体素嵌入作为探索脑功能的强大工具。

    Jun, 2024

  • 从脑活动中解码高分辨率图像的对比、关注和扩散

    介绍了一个两阶段的 fMRI 表示学习框架，通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪，并在第二阶段利用图像自动编码器的指导来调整特征学习者，以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激，实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性，50 种不同目标的情境下，top-1 语义分类的准确率比先前最先进的方法提高了 39.34％。

    May, 2023