使用深度学习进行动态自然视觉的神经编码和解码
研究通过功能性磁共振成像对大脑的记录,分析了编码模型和解码模型的应用,尤其关注深度学习算法的效果、好处和限制,并总结了神经科学数据集的代表性研究。
Jul, 2023
通过基于高时间分辨率的 MEG 测量脑活动,利用生成型和基础型人工智能系统解码大脑活动,特别是通过功能性磁共振成像 (fMRI) 解码视觉感知,从而在实时应用方面取得了重大进展。
Oct, 2023
本研究通过采用电脑脑波数据对 ImageNet 数据集中的图像进行分类和重建,提出了一种创新的方法。该研究不仅可以从神经活动中解码图像,还能仅利用脑电波数据生成图像的可靠重建,为个性化迅速反馈实验铺平了道路。
Sep, 2023
介绍了一个两阶段的 fMRI 表示学习框架,通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪,并在第二阶段利用图像自动编码器的指导来调整特征学习者,以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激,实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性,50 种不同目标的情境下,top-1 语义分类的准确率比先前最先进的方法提高了 39.34%。
May, 2023
通过使用具有视觉和上下文输入的多模态模型 VISION,我们成功预测了人类大脑对自然图像的功能性磁共振成像(fMRI)扫描反应,其准确度超过了现有技术性能 45%,并揭示了不同视觉区域的表征偏差,生成了可实验检验的假设,并形成了可解释的指标将这些假设与皮层功能相关联,为设计和实现视觉皮层功能分析带来了降低成本和时间负担的可能性。通过计算模型的进化,我们的工作表明可能揭示出对视觉皮层的基本理解,并提供可靠的脑机接口的可行方法。
Sep, 2023
本文主要研究使用深度卷积神经网络模型对视网膜对自然场景的反应进行建模,发现其能够准确地描述神经电路对自然刺激的反应,并探究了卷积神经网络模型的内在结构和功能特点,在数据量少、样本分布不同等情况下表现较优,有助于从神经电路的角度解析神经科学中的计算问题。
Feb, 2017
深度神经网络在腹侧视觉流中与脑活动相吻合。然而,灵长类动物视觉系统具有与之不同的背侧处理流,具有不同的功能性质。本研究旨在通过训练自监督几何感知递归神经网络(GRNN)来预测新的相机视图,使用 3D 特征存储器来测试该模型是否与背侧视觉区域的神经响应更吻合。与已被证明在腹侧区域中吻合良好的自监督基准模型相比较,我们发现 GRNN 在背侧脑区能更好地解释方差的比例。我们的研究结果表明了利用任务相关模型来研究视觉流之间的表征差异的潜力。
Sep, 2023
通过深度学习和神经科学的整合,本研究使用多种不同的解码技术对视觉体验的再建进行了实验,证明了这些技术能够大大提高基线准确率。
Jun, 2023
利用深度卷积神经网络,研究人员成功地探测到哺乳动物腹侧视觉途径中逐渐增加的特定特征梯度,并将不断增加的特征复杂度映射到人类大脑,从而提供了研究大脑表示如何映射的自动化方法。最终,研究表明,在先前无法实现的精度下,深度卷积神经网络可以对人脑表示进行解码,为我们提供了更敏感的窗口观察人脑。
Nov, 2014