Sep, 2023

单向脑机接口：人工神经网络将自然图像编码为视觉皮层的 fMRI 反应

PDF
TL;DR通过使用具有视觉和上下文输入的多模态模型 VISION，我们成功预测了人类大脑对自然图像的功能性磁共振成像（fMRI）扫描反应，其准确度超过了现有技术性能 45％，并揭示了不同视觉区域的表征偏差，生成了可实验检验的假设，并形成了可解释的指标将这些假设与皮层功能相关联，为设计和实现视觉皮层功能分析带来了降低成本和时间负担的可能性。通过计算模型的进化，我们的工作表明可能揭示出对视觉皮层的基本理解，并提供可靠的脑机接口的可行方法。
artificial intelligenceneural networkvisual perceptionfunctional magnetic resonance imagingbrain-machine interfaces
发现论文，激发创造
  • 脑形式化：将 MRI 脑功能建模到机器视觉中

    通过引入新颖的基于 Transformer 的 Brainformer 方法，分析人类感知系统中 fMRI 模式，并将其作为监督机制应用于机器视觉模型，通过实验证明，在各种图像识别任务中，利用 fMRI 信息可以实现与当前最先进方法相比的潜在结果。

    Nov, 2023

  • 跨模态 3D 生成自动化人类视觉疾病诊断

    利用人工智能方法将功能性磁共振成像（fMRI）解码为可视的 3D 图像，实现对 fMRI 数据的自动临床分析。

    May, 2024

  • 使用深度学习进行动态自然视觉的神经编码和解码

    研究表明，使用卷积神经网络 (CNN) 驱动的图像识别技术不仅能在下流视觉区域说明大脑对静态图片的反应，还能可靠地预测和解码人类观看自然电影时的功能性磁共振成像数据，并通过缺少有关时间动态或反馈处理机制的 CNN-Predicted areas 覆盖了包括腹侧流和背侧流在内的大部分视觉和语义空间。

    Aug, 2016

  • 视听语言大脑编码

    本文系统探讨了图像转换器和多模态转换器在大脑编码方面的有效性，发现多模态转换器 VisualBERT 在编码上远优于之前提出的单模态 CNN、图像转换器以及其他先前提出的多模态模型，这表明视觉语言模型的优越性，产生了人们是否在被动地查看图像时，视觉区域的响应是否受到语言处理的影响的问题。

    Apr, 2022

  • 脑解码：朝着实时重建视觉感知迈进

    通过基于高时间分辨率的 MEG 测量脑活动，利用生成型和基础型人工智能系统解码大脑活动，特别是通过功能性磁共振成像 (fMRI) 解码视觉感知，从而在实时应用方面取得了重大进展。

    Oct, 2023

  • BrainChat：使用视觉 - 语言预训练模型从脑功能磁共振成像解码语义信息

    使用 CoCa 模型，本文提出了一种简单而有效的生成框架 BrainChat，旨在从脑活动中快速实现语义信息解码任务，包括 fMRI 问题回答和 fMRI 字幕生成，通过编码稀疏的 fMRI 数据，利用对比损失将 fMRI、图像和文本嵌入对齐，然后通过交叉注意层将 fMRI 嵌入映射到生成的脑解码器，以最小化字幕损失的方式以回归的方式生成有关 fMRI 的文本内容。成功地超过了现有状态 - of-the-art 方法在 fMRI 字幕生成任务中，并首次实现了 fMRI 问题回答。此外，BrainChat 在没有图像数据的情况下仍可以实现高性能，更适用于现实世界的数据有限场景。

    Jun, 2024

  • 脑部字幕：将人脑活动解码成图像和文本

    该研究采用 fMRI 技术和图像生成模型，提出了一种基于大脑神经活动解码为图像文字的方法，该方法包括图像重建流程和基于深度图的图像生成模型，实验证明其在神经科学方面具有广泛应用的潜力。

    May, 2023

  • 思维动画化：从缓慢的脑活动中解耦动态自然视觉重建

    提出了一种名为 Mind-Animator 的两阶段模型，通过脑活动数据可以重构人类动态视觉，并在三个公共数据集上达到最先进的性能，通过特征解耦和融合，证实了重构视频的神经学解释性。

    May, 2024

  • 像素到体素：人脑对视觉表示的建模

    通过计算机视觉和机器学习中的 Fisher Vectors 和 CNN 模型，本研究发现可以直接从像素级低级视觉输入预测高级视觉区域的人脑的活动，为探究人类视觉的功能原理提供了新平台。

    Jul, 2014

  • ReAlnet: 通过人脑神经表征对齐实现更加人类大脑类似的视觉

    通过对非侵入式脑电图记录进行对齐，我们提出了 “Re (presentational) Al (ignment) Net”，这是一个与人类大脑活动对齐的视觉模型，其与人类大脑表征更加相似，从而在人工智能领域取得了突破。

    Jan, 2024