Sep, 2024

神经转码视觉变换器用于EEG到fMRI合成

HTML
PDF
TL;DR本研究处理了从脑电图（EEG）数据生成高分辨率功能性磁共振成像（fMRI）样本的问题，通过引入神经转码视觉变换器（NT-ViT）模型，采用领域匹配子模块增强了EEG与fMRI的对齐精度。研究发现，NT-ViT在两个基准数据集上的重建质量显著优于当前最先进的方法，具有重要的临床应用前景，有助于提高神经疾病的诊断效率。
发现论文，激发创造
  • 视听语言大脑编码

    本文系统探讨了图像转换器和多模态转换器在大脑编码方面的有效性，发现多模态转换器VisualBERT在编码上远优于之前提出的单模态CNN、图像转换器以及其他先前提出的多模态模型，这表明视觉语言模型的优越性，产生了人们是否在被动地查看图像时，视觉区域的响应是否受到语言处理的影响的问题。

    Apr, 2022

  • 脑电波探幽者：从大脑活动中重构复杂图像

    本文研究了如何通过结合fMRI神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉-语言潜在空间编码fMRI信号来解决数据稀缺的问题。

    Sep, 2022

  • 超越大脑：使用稀疏掩码建模的条件扩散模型进行视觉解码

    本文提出了一种使用双条件潜在扩散模型的 MinD-Vis：稀疏掩蔽脑建模方法，通过大型潜在空间中的掩蔽建模来学习 fMRI 数据的有效自我监督表示。实验证明，该方法在语义映射和生成质量方面都优于现有技术，并且只需很少的成对注释即可从脑记录中重建高度合理的图像。

    Nov, 2022

  • Brain-Diffuser:使用生成潜在扩散从fMRI信号中重建自然场景

    利用神经解码技术和新型图像生成的巨大进展，我们提出了一个两阶段场景重建框架（Brain-Diffuser），它能够从fMRI信号中推断出场景的低级特征和整体布局，随后通过潜在扩散模型生成最终重建的图像。该方法在公开数据集基准测试中表现出色，在应用（例如脑机接口）和基础神经科学方面都有深远的影响。

    Mar, 2023

  • BrainNPT：用于脑网络分类的Transformer网络预训练

    本文提出了一种基于Transformer的深度学习网络，名为BrainNPT，用于脑功能网络分类，并探讨了使用未标记数据进行预训练的方法，结果表明使用预训练的BrainNPT模型可以显著提高分类表现。

    May, 2023

  • 脑部字幕：将人脑活动解码成图像和文本

    该研究采用fMRI技术和图像生成模型，提出了一种基于大脑神经活动解码为图像文字的方法，该方法包括图像重建流程和基于深度图的图像生成模型，实验证明其在神经科学方面具有广泛应用的潜力。

    May, 2023

  • ViT2EEG: 基于混合预训练视觉 Transformer 的 EEG 数据利用

    本研究展示了在脑电图（EEG）回归任务上，以ImageNet为预训练数据的混合Vision Transformer（ViT）模型的应用。通过与其他模型进行比较，包括没有ImageNet权重的相同结构ViT模型，在EEG数据上微调后，该模型表现出显著的性能提升。这一发现挑战了对模型泛化的传统理解，表明在合适的微调流程下，预先训练在看似无关的图像数据上的Transformer模型可以为EEG回归任务提供有价值的先验知识。这种方法的成功暗示了ViT模型在视觉任务环境中提取的特征可以轻松地转化为EEG预测建模的目的。我们建议不仅在神经科学和相关领域，而且在任何由实际、财务或伦理限制所限制的任务中采用这种方法。我们的结果揭示了预训练模型在与其原始目的明显不同的任务上的潜力。

    Aug, 2023

  • MindEye2: 共享主体模型实现 1 小时数据的 fMRI-to-Image

    使用仅1小时的fMRI训练数据展示了高质量的知觉重建，我们通过在7个受试者上进行预训练并在新受试者上进行微调的方法，通过功能对齐和CLIP图像空间的映射，实现了对知觉的准确重建。

    Mar, 2024

  • 基于3T fMRI数据和无监督学习的视网膜视觉图像重建

    通过无监督生成对抗网络(GAN)结合7T和3T两个不同的fMRI数据集，本文提出了一种新的框架来生成改进的3T fMRI数据，克服高质量7-Tesla数据的稀缺性和3-Tesla实验中简短和低质量扫描的挑战，证明了该方法在生成优质输入视觉图像方面相对于在单个主题上进行训练和测试的数据密集型方法的能力。

    Apr, 2024

  • 脑流：基于多模态引导的fMRI到图像重建

    本研究针对fMRI到图像重建任务中小物体细节缺失和语义模糊的问题，提出了一种基于多模态引导的重建框架Brain-Streams。该框架结合视觉和语义信息，利用现代生成模型（如潜在扩散模型）进行精确的图像重建，验证结果显示出优越的重建能力和应用潜力。

    Sep, 2024