通过深度学习和神经科学的整合,本研究使用多种不同的解码技术对视觉体验的再建进行了实验,证明了这些技术能够大大提高基线准确率。
Jun, 2023
本研究通过采用电脑脑波数据对 ImageNet 数据集中的图像进行分类和重建,提出了一种创新的方法。该研究不仅可以从神经活动中解码图像,还能仅利用脑电波数据生成图像的可靠重建,为个性化迅速反馈实验铺平了道路。
Sep, 2023
通过基于高时间分辨率的 MEG 测量脑活动,利用生成型和基础型人工智能系统解码大脑活动,特别是通过功能性磁共振成像 (fMRI) 解码视觉感知,从而在实时应用方面取得了重大进展。
Oct, 2023
本文提出了一种基于脑电图 (EEG) 信号的图像重建方法,利用低成本、易携带的 EEG 设备构建了视觉刺激图像数据集,并建立了深度视觉表示模型 (DVRM) 来从 EEG 信号学习视觉刺激图像的分布特征,并通过深度神经网络在人类自然状态下还原高度逼真的图像。实验证明,DVRM 在学习 EEG 信号生成深度视觉表示和生成逼真的重建图像任务中具有出色的性能。
Mar, 2024
研究表明,使用卷积神经网络 (CNN) 驱动的图像识别技术不仅能在下流视觉区域说明大脑对静态图片的反应,还能可靠地预测和解码人类观看自然电影时的功能性磁共振成像数据,并通过缺少有关时间动态或反馈处理机制的 CNN-Predicted areas 覆盖了包括腹侧流和背侧流在内的大部分视觉和语义空间。
Aug, 2016
本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景,使用深度学习模型,并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。
Sep, 2022
介绍了一个两阶段的 fMRI 表示学习框架,通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪,并在第二阶段利用图像自动编码器的指导来调整特征学习者,以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激,实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性,50 种不同目标的情境下,top-1 语义分类的准确率比先前最先进的方法提高了 39.34%。
May, 2023
使用层次化的视觉处理技术,通过深度学习以及生成对抗网络,更加准确和高效地从 fMRI 数据中解析视觉信息,从而实现更优秀的图像重建性能。
Jan, 2021
我们提出了一种自监督框架,从脑电信号中学习图像表征。通过对配对图像刺激和脑电反应进行特征提取,然后使用对比学习来对齐这两种模态,我们的方法在最广泛的脑电图像数据集上取得了最先进的结果,并在 200 种零样本任务中达到了 15.6% 的 top-1 准确率和 42.8% 的 top-5 准确率。对脑电信号的时间、空间、频谱和语义方面的广泛实验表明了良好的生物合理性,这些结果对神经解码和脑 - 计算机界面的现实应用提供了有价值的见解。
Aug, 2023
本文介绍了一种名为 NeuroImagen 的综合流程,用于从动态的脑电信号(EEG 信号)中重构高分辨率的视觉刺激图像,并通过多层次的感知信息解码提取实用信息,实验结果表明该方法在图像重构方面具有显著的效果和卓越的定量性能。
Jul, 2023