通过引导性随机搜索从人脑活动中重建已见图像
通过优化解码方法,将重构结果与脑活动一致性结合,通过迭代优化小样本图像库,我们证明了脑优化推理在改善重构质量和探索视觉脑区不同表征多样性方面的潜力。
Dec, 2023
提出了一种名为 Second Sight 的新型重建过程,该过程通过迭代方式显式最大化挑战任何目标图像所引起的脑活动模式的体素编码模型的预测与脑活动模式之间的对齐,从而在语义内容和低级图像细节方面不断改进损伤图像,解决了多种输入图像问题。
Jun, 2023
通过深度学习和神经科学的整合,本研究使用多种不同的解码技术对视觉体验的再建进行了实验,证明了这些技术能够大大提高基线准确率。
Jun, 2023
本文提出了一种名为 MindDiffuser 的两阶段图像重构模型,利用了稳定扩散技术,成功地同时实现了语义和结构信息的重构,并在自然场景数据集方面的重建结果超过了当前最先进模型。
Mar, 2023
我们提出了一种名为 MindDiffuser 的两阶段图像重建模型,通过使用 fMRI 进行前向估计和反向传播来实现想定图像的语义和结构信息的精确对齐,实验结果表明该模型在自然场景数据集上超过了现有的最先进模型,并且与相应的大脑反应呈现的多模态特征解释力一致,从而证实其神经生物学的合理性。
Aug, 2023
利用神经解码技术和新型图像生成的巨大进展,我们提出了一个两阶段场景重建框架(Brain-Diffuser),它能够从 fMRI 信号中推断出场景的低级特征和整体布局,随后通过潜在扩散模型生成最终重建的图像。该方法在公开数据集基准测试中表现出色,在应用(例如脑机接口)和基础神经科学方面都有深远的影响。
Mar, 2023
我们提出了一个名为 CnD 的两阶段框架,通过自监督对比学习获取功能磁共振成像数据的表示,并利用这些编码的数据重建视觉刺激,从而实现了基于人脑活动的可行的图像重建方法。
Sep, 2023
本研究通过采用电脑脑波数据对 ImageNet 数据集中的图像进行分类和重建,提出了一种创新的方法。该研究不仅可以从神经活动中解码图像,还能仅利用脑电波数据生成图像的可靠重建,为个性化迅速反馈实验铺平了道路。
Sep, 2023
本文介绍了一种名为 NeuroImagen 的综合流程,用于从动态的脑电信号(EEG 信号)中重构高分辨率的视觉刺激图像,并通过多层次的感知信息解码提取实用信息,实验结果表明该方法在图像重构方面具有显著的效果和卓越的定量性能。
Jul, 2023