- 通过双模转换器重建血液动力学反应函数
本研究介绍了第一个直接在明确的神经元群体层面上解决这个问题的预测模型,通过分析这个模型的行为,我们提出了与神经活动血液动力响应的本质相对较少探索的假设。
- 使用 GPT 嵌入式技术揭示 FMRI 脑语言
通过 fMRI-based captioning 获取神经的相关性,这有助于认识视觉感知的神经机制,人机交互以及加强学习和训练过程。
- 利用图像 - 语言基础模型识别人脑中共同可解码的概念
本研究介绍了一种基于高质量预训练多模态表示利用功能磁共振成像技术探索人类大脑微观语义网络的方法,并描述了该方法在检测面孔、身体和空间等重要语义概念的表现及其在个体参与者中的应用。
- DeepGraphDMD: 非线性功能性脑网络动态的可解释时空分解
本文介绍了一种基于动态模态分解 (Dynamic Mode Decomposition) 算法的扩展版本 GraphDMD,该算法以一种可解释的方式从 fMRI 时间序列中提取动态网络模态和它们的时间特征。作者还开发了 DeepGraphD - 重塑心智之眼:对比学习和扩散先验的 fMRI 图像生成
本文提出了一种名为 MindEye 的新型 fMRI 到图像转换方法,通过对比学习和扩散优先使用两个并行子模块来实现图像的检索和重建,将 fMRI 脑活动映射到高维多模态潜在空间,使用生成模型从该潜在空间接受嵌入以进行图片重建和精确检索。通 - 从脑活动中解码高分辨率图像的对比、关注和扩散
介绍了一个两阶段的 fMRI 表示学习框架,通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪,并在第二阶段利用图像自动编码器的指导来调整特征学习者,以关注对于视觉重建最有信息的神经激活模式 - 使用对抗分解变分自编码器的脑结构功能融合学习,分析 MCI
本研究提出一种新的脑结构 - 功能融合表征学习模型,它可用于从 DTI 和 fMRI 中学习融合表示,以分析轻度认知障碍 (MCI)。该模型通过将特征空间分解为每种模态的统一和独特空间的并集,并自适应融合分解功能,来有效融合脑的结构和功能特 - fMRI 中语言编码模型的尺度定律
本文研究使用基于 Transformer 的语言模型,比较了不同模型尺寸与训练数据规模对于预测功能性磁共振成像记录下的脑活动响应的影响。结果显示,当模型或数据规模增大时,在音频与语言预测方面均能获得显著性提升,这为在理解大脑语言处理机制和实 - 可控制的心智视觉扩散模型
本文提出了一种名为 Controllable Mind Visual Diffusion Model (CMVDM) 的新方法,利用属性对齐和辅助网络从 fMRI 数据中提取语义和轮廓信息,并利用控制模型对提取的信息进行图像合成,与其他现有 - 神经网络、扩散映射和 Koopman 算符驱动的脑活动数据建模
本研究提出了一种基于机器学习的方法来对脑活动进行长期预测,该方法基于 Koopman 算子,通过建立一种非线性映射来达到降维和预测的目的,并且实验证明该方法在预测方面的表现要好于传统的基于随机游走模型的方法。
- BrainCLIP:基于 CLIP 框架的大脑和视觉 - 语言表示连通,用于基于 fMRI 的自然视觉刺激解码
本文提出了一种跨模态的大脑解码模型 BrainCLIP,通过将图像和文本监督在语义空间中相结合,将 fMRI 模式转换为 CLIP 嵌入空间,实现了自然图像的高级特征还原和语义解码。
- 将聚类视为不适定问题:K-Means 算法实验
本文研究了基于 KMeans 算法的聚类过程作为反问题的特殊情况,探索了通过主成分分析来改进聚类反问题质量的尝试,并比较了两种定量特征选择方法之间的关系。使用神经科学数据库中的功能性磁共振成像范例来验证结果。
- CVPR超越大脑:使用稀疏掩码建模的条件扩散模型进行视觉解码
本文提出了一种使用双条件潜在扩散模型的 MinD-Vis:稀疏掩蔽脑建模方法,通过大型潜在空间中的掩蔽建模来学习 fMRI 数据的有效自我监督表示。实验证明,该方法在语义映射和生成质量方面都优于现有技术,并且只需很少的成对注释即可从脑记录中 - 脑电波探幽者:从大脑活动中重构复杂图像
本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景,使用深度学习模型,并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。
- 基于深度强化学习的自闭症谱系障碍 fMRI 预测
本研究使用深度强化学习算法(DRL)与监督深度学习算法(SDL)对小型 fMRI 数据集进行分类,结果表明 DRL 在准确率与泛化能力方面都优于 SDL,且对训练数据具有更高的数据利用率。
- ICML自监督音频模型有效解释人类大脑对语音的反应
本文回顾了目前人类低级听觉处理的现有模型,并利用自学语言模型技术创建了新的人类听觉系统的先进模型。结果表明,与声学基线、音素特征和监督模型相比,来自自监督模型中间层的表示可以显著提高对听觉皮层的 fMRI 记录的预测性能,并且不同的听觉处理 - DELMAR: 人脑深度线性矩阵近似重构提取分层功能连接性
提出了一种新的深度矩阵分解技术 DELMAR,用于分析人脑功能连接的层次关系,可以自动估计超参数,采用矩阵反向传播减少累积误差,并引入正交投影来更新所有变量,实验证明其能够比其他同类方法更快、更准确地识别 fMRI 信号中的空间特征,并能收 - 基于空间和通道注意力的动态功能脑网络发现
本文提出了一种空间和通道注意力自编码器(SCAAE),基于注意力机制来动态发现功能性脑网络 (FBNs)。实验结果表明,该方法可以在不使用滑动窗口的情况下有效地恢复 FBNs 在每个 fMRI 时间步的动态变化,同时避免了线性和独立性的限制 - 通过形状语义 GAN 从脑活动中重建感知图像
使用层次化的视觉处理技术,通过深度学习以及生成对抗网络,更加准确和高效地从 fMRI 数据中解析视觉信息,从而实现更优秀的图像重建性能。
- 利用立方体持久性揭示时变 fMRI 数据的拓扑结构
使用拓扑学方法编码 fMRI 数据检测时间点后高维空间极小值的并归图,以此来处理数据集中的噪音及人与人之间的差异,并开发了一种聚类和轨迹分析的技术,成功分析儿童和成人在观看电影 “Partly Cloudy” 时的大脑状态和拓扑活动。