Nov, 2023

脑形式化：将 MRI 脑功能建模到机器视觉中

PDF
TL;DR通过引入新颖的基于 Transformer 的 Brainformer 方法，分析人类感知系统中 fMRI 模式，并将其作为监督机制应用于机器视觉模型，通过实验证明，在各种图像识别任务中，利用 fMRI 信息可以实现与当前最先进方法相比的潜在结果。
perceptionhuman visual perceptionneuroimagingbrainformerfmri
发现论文，激发创造
  • 单向脑机接口：人工神经网络将自然图像编码为视觉皮层的 fMRI 反应

    通过使用具有视觉和上下文输入的多模态模型 VISION，我们成功预测了人类大脑对自然图像的功能性磁共振成像（fMRI）扫描反应，其准确度超过了现有技术性能 45％，并揭示了不同视觉区域的表征偏差，生成了可实验检验的假设，并形成了可解释的指标将这些假设与皮层功能相关联，为设计和实现视觉皮层功能分析带来了降低成本和时间负担的可能性。通过计算模型的进化，我们的工作表明可能揭示出对视觉皮层的基本理解，并提供可靠的脑机接口的可行方法。

    Sep, 2023

  • 脑解码：朝着实时重建视觉感知迈进

    通过基于高时间分辨率的 MEG 测量脑活动，利用生成型和基础型人工智能系统解码大脑活动，特别是通过功能性磁共振成像 (fMRI) 解码视觉感知，从而在实时应用方面取得了重大进展。

    Oct, 2023

  • 脑电波探幽者：从大脑活动中重构复杂图像

    本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。

    Sep, 2022

  • 跨模态 3D 生成自动化人类视觉疾病诊断

    利用人工智能方法将功能性磁共振成像（fMRI）解码为可视的 3D 图像，实现对 fMRI 数据的自动临床分析。

    May, 2024

  • 利用人脑活动指导机器学习

    在本文中，我们介绍了一种新的 “神经权重” 的机器学习方法，该方法将人类大脑活动的 fMRI 测量数据注入到对象识别学习算法的训练过程中，以使其更加符合人类大脑。我们证明了这种方法的有效性，指出了一种新的混合机器学习算法的路径，该算法既从神经元数据中获得灵感，又直接约束神经元数据。

    Mar, 2017

  • 基于人类视觉的 fMRI 时间序列分析，探究观看复杂度不同图像时 BOLD 响应的变化

    通过使用 fMRI 时间序列分析，本研究旨在研究人类大脑对不同复杂度图像的神经变化，通过对公开的 BOLD5000 数据集进行图像分类和时间语义分割的实验，以揭示人类大脑在感知图像时 BOLD 信号的波动和变化。

    Sep, 2023

  • 利用脑部活动预测想象的内容

    研究使用机器学习技术对人脑成像数据进行分类，统计分析显示无论奖励是想象还是视觉呈现，人类中脑区域都会被激活。

    Jun, 2021

  • 脑部字幕：将人脑活动解码成图像和文本

    该研究采用 fMRI 技术和图像生成模型，提出了一种基于大脑神经活动解码为图像文字的方法，该方法包括图像重建流程和基于深度图的图像生成模型，实验证明其在神经科学方面具有广泛应用的潜力。

    May, 2023

  • 透视大脑：从人脑信号重建视觉感知

    本文介绍了一种名为 NeuroImagen 的综合流程，用于从动态的脑电信号（EEG 信号）中重构高分辨率的视觉刺激图像，并通过多层次的感知信息解码提取实用信息，实验结果表明该方法在图像重构方面具有显著的效果和卓越的定量性能。

    Jul, 2023

  • 从脑活动中解码高分辨率图像的对比、关注和扩散

    介绍了一个两阶段的 fMRI 表示学习框架，通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪，并在第二阶段利用图像自动编码器的指导来调整特征学习者，以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激，实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性，50 种不同目标的情境下，top-1 语义分类的准确率比先前最先进的方法提高了 39.34％。

    May, 2023