Dec, 2023

大脑解码深度神经网络

PDF
TL;DR我们开发了一种工具，通过将大型预训练视觉模型映射到大脑上，从而揭示其隐藏在内部的信息。我们的创新提出了一种令人惊讶的使用大脑编码的方法：预测大脑在图像刺激下的功能磁共振成像测量。我们报告了两个发现：首先，对于空间、层级、尺度和通道的大脑和深度网络特征之间的显式映射至关重要。这种映射方法，FactorTopy，可应用于任何深度网络；通过它，我们可以将网络映射到大脑上（真实可视化）。其次，我们的可视化结果显示了不同的训练方法的重要性：它们导致了层次结构和缩放行为上显著的差异，随着更多的数据或网络容量增加而增长。它还提供了微调的见解：在适应小数据集时，预训练模型如何改变。我们的方法很实用：只需 3000 个图像就足以学习网络到大脑的映射。
pre-trained vision modelsbrain encodingdeep-network featuresmapping methodtraining methods
发现论文，激发创造
  • 深度神经网络与脑部对齐：脑编码与解码（调研）

    研究通过功能性磁共振成像对大脑的记录，分析了编码模型和解码模型的应用，尤其关注深度学习算法的效果、好处和限制，并总结了神经科学数据集的代表性研究。

    Jul, 2023

  • 基于视网膜地形学的大脑编码模型及全能训练法

    使用多个小型模型聚合知识并保留不同功能区域之间的差异，利用大量公开数据和生物知识构建了最全面的脑部编码模型，该模型可用于替代常用的视觉模型，并应用于脑解码。

    Jul, 2023

  • 使用深度学习进行动态自然视觉的神经编码和解码

    研究表明，使用卷积神经网络 (CNN) 驱动的图像识别技术不仅能在下流视觉区域说明大脑对静态图片的反应，还能可靠地预测和解码人类观看自然电影时的功能性磁共振成像数据，并通过缺少有关时间动态或反馈处理机制的 CNN-Predicted areas 覆盖了包括腹侧流和背侧流在内的大部分视觉和语义空间。

    Aug, 2016

  • 透视他们的思维：从跨受试者的 fMRI 学习可迁移的神经表达

    我们提出了一种新的方法来解决功能磁共振成像（fMRI）数据稀缺和噪声干扰脑解码模型性能的问题，通过浅层主体特定适配器将跨学科的 fMRI 数据映射到统一的表示中，然后使用共享的深层解码模型将跨学科特征解码为目标特征空间，利用视觉和文本监督进行多模态脑解码的训练，实验证明了我们模型在所有科目中的鲁棒神经表示学习，并且将高级和低级信息相结合可以改善重建度量。

    Mar, 2024

  • 单向脑机接口：人工神经网络将自然图像编码为视觉皮层的 fMRI 反应

    通过使用具有视觉和上下文输入的多模态模型 VISION，我们成功预测了人类大脑对自然图像的功能性磁共振成像（fMRI）扫描反应，其准确度超过了现有技术性能 45％，并揭示了不同视觉区域的表征偏差，生成了可实验检验的假设，并形成了可解释的指标将这些假设与皮层功能相关联，为设计和实现视觉皮层功能分析带来了降低成本和时间负担的可能性。通过计算模型的进化，我们的工作表明可能揭示出对视觉皮层的基本理解，并提供可靠的脑机接口的可行方法。

    Sep, 2023

  • 探索和比较深度学习结构，预测大脑对逼真图片的反应

    我们利用预训练模型，探索机器学习架构来预测大规模预训练模型生成的图像对大脑的响应，通过使用单个连接的线性层加上由 CLIP 生成的图像嵌入作为输入，在 Algonauts 挑战赛上取得了相对较好的结果，但未能建立与数据的强有力关联。

    Sep, 2023

  • 脑解码：朝着实时重建视觉感知迈进

    通过基于高时间分辨率的 MEG 测量脑活动，利用生成型和基础型人工智能系统解码大脑活动，特别是通过功能性磁共振成像 (fMRI) 解码视觉感知，从而在实时应用方面取得了重大进展。

    Oct, 2023

  • 通过知识蒸馏和潜在扩散模型从脑电图解码视觉大脑表示

    本研究通过采用电脑脑波数据对 ImageNet 数据集中的图像进行分类和重建，提出了一种创新的方法。该研究不仅可以从神经活动中解码图像，还能仅利用脑电波数据生成图像的可靠重建，为个性化迅速反馈实验铺平了道路。

    Sep, 2023

  • 利用学习的拓扑滤波器映射可视化语音识别的深度神经网络

    通过构建一个卷积语音识别模型，其滤波器被排列在二维网格中并且相邻滤波器之间很相似，我们证明这种拓扑滤波器图可更形象地可视化人造神经元的激活， 并检验这是否会使得对音素有响应的神经元分组在拓扑图的特定区域。

    Dec, 2019

  • 脑部字幕：将人脑活动解码成图像和文本

    该研究采用 fMRI 技术和图像生成模型，提出了一种基于大脑神经活动解码为图像文字的方法，该方法包括图像重建流程和基于深度图的图像生成模型，实验证明其在神经科学方面具有广泛应用的潜力。

    May, 2023