May, 2024

寻找脑中共同可解编码的概念及其否定的脸的对立是什么？

PDF
TL;DR通过训练多模态（自然语言和图像）神经网络架构（CLIP），我们使用一种新颖的 DBSCAN 聚类算法的适应版来聚类这些参与者特定对比模型的参数，揭示了我们称之为共享解码概念（SDCs）的在多个参与者中通过共同一组体素解码的 CLIP 空间中的聚类。通过分析与每个 SDC 聚类最相关和最不相关的图像，我们对每个 SDC 的语义属性有了更深入的了解。因此，我们的对比学习方法通过利用多模态神经网络表示和一种新颖的聚类算法的适应版更好地描述了大脑中新的和现有的视觉 - 语义表示。
functional localizationvisual semanticsclipshared decodable conceptsvisuo-semantic representations
发现论文，激发创造
  • 利用图像 - 语言基础模型识别人脑中共同可解码的概念

    本研究介绍了一种基于高质量预训练多模态表示利用功能磁共振成像技术探索人类大脑微观语义网络的方法，并描述了该方法在检测面孔、身体和空间等重要语义概念的表现及其在个体参与者中的应用。

    Jun, 2023

  • 跨视角脑解码

    本文旨在研究跨视图零样本大脑解码在图像说明、图像标记、关键词提取和句子形成等任务中的有效性，研究表明，对于跨视图零样本的大脑解码是切实可行的，并提出了各种视图解码的模型，如图像说明，图像标记，关键词提取和句子形成。

    Apr, 2022

  • AlignedCut：脑引导的通用特征空间上的视觉概念发现

    使用大脑 fMRI 响应预测作为训练目标，我们研究了视觉数据、深度网络和大脑之间的有趣联系，发现通过不同目标训练的深度网络共享通用的特征通道，将这些通道聚类成不同的大脑区域，产生语义相关的物体片段，同时通过通道聚类发现了不同网络层级处理视觉信息的过程，从而实现了网络之间的精确比较。

    Jun, 2024

  • 共享特征可视化的并行反向传播

    使用基于深度学习的方法，通过对图像的激活进行建模，可以揭示大脑视觉区域中神经元的选择性和共享特征，进而理解为什么一些物体图像会激发这些神经元的反应。

    May, 2024

  • BrainCLIP：基于 CLIP 框架的大脑和视觉 - 语言表示连通，用于基于 fMRI 的自然视觉刺激解码

    本文提出了一种跨模态的大脑解码模型 BrainCLIP，通过将图像和文本监督在语义空间中相结合，将 fMRI 模式转换为 CLIP 嵌入空间，实现了自然图像的高级特征还原和语义解码。

    Feb, 2023

  • 跨模态功能磁共振成像解码视觉和语言

    通过大规模的功能性磁共振成像 (fMRI) 数据集，本研究提出并使用了一种新的模态不可知解码器，能够将大范围的视觉、语言和多模态模型的脑信号映射到刺激表示上，发现模态不可知解码器表现与模态特定解码器相当甚至更好，并且单模态解码器表现与多模态解码器相当，同时高级的视觉区域可以很好地解码文本和图像刺激。

    Mar, 2024

  • MindDiffuser：使用语义和结构扩散从人类大脑活动进行受控图像重建

    我们提出了一种名为 MindDiffuser 的两阶段图像重建模型，通过使用 fMRI 进行前向估计和反向传播来实现想定图像的语义和结构信息的精确对齐，实验结果表明该模型在自然场景数据集上超过了现有的最先进模型，并且与相应的大脑反应呈现的多模态特征解释力一致，从而证实其神经生物学的合理性。

    Aug, 2023

  • 抑制显著性，凸显语义：神经网络和大脑中的视觉转换

    深度学习算法在将原始视觉输入转化为强大的语义理解方面缺乏人类可解释的说明，阻碍了不同架构、训练目标和人类大脑之间的比较。本文从神经科学中汲取灵感，采用表征方法揭示神经网络在低层次（视觉显著性）和高层次（语义相似性）抽象水平上如何编码信息。此外，我们引入了一个自定义图像数据集，在其中系统性地操纵显著性和语义信息。我们发现，在使用对象分类目标进行训练时，ResNet 对显著性信息比 ViT 更敏感。我们发现网络在早期层次抑制显著性的过程，在 ResNet 中，自然语言监督（CLIP）进一步增强了这一过程。CLIP 还增强了两种架构中的语义编码。最后，我们展示了语义编码是将人工智能与人类视觉感知对齐的关键因素，而抑制显著性是一种非类脑策略。

    Apr, 2024

  • BrainSCUBA: 视觉皮层选择性的细粒度自然语言描述

    利用数据驱动方法生成自然语言描述的研究，通过引入 Contrastive Vision-Language 模型和预训练的大型语言模型构建的 BrainSCUBA 方法，解释了高级视觉区域的功能偏好和对人体的语义敏感性。

    Oct, 2023

  • 语义向量的大脑基础改善了对视觉刺激的神经解码

    提出了一种神经解码的表示学习框架，通过微调预训练特征向量以更好地与人脑中的视觉刺激的神经表示对齐，从而提高大脑解码算法的性能。

    Mar, 2024