Jun, 2023

利用多个解码输入通过潜在扩散模型改进从人脑活动中重建视觉图像

PDF
TL;DR通过深度学习和神经科学的整合，本研究使用多种不同的解码技术对视觉体验的再建进行了实验，证明了这些技术能够大大提高基线准确率。
发现论文，激发创造
  • 使用机器学习从人脑活动中解码通用视觉表示

    本研究评估了多种机器学习模型和相似度度量方法对于神经解码的视觉表征解码任务的影响，结果表明提出了更为先进和精确的方法，并为该解码任务提供了易于再现的基准。

    Nov, 2018

  • 通过知识蒸馏和潜在扩散模型从脑电图解码视觉大脑表示

    本研究通过采用电脑脑波数据对 ImageNet 数据集中的图像进行分类和重建，提出了一种创新的方法。该研究不仅可以从神经活动中解码图像，还能仅利用脑电波数据生成图像的可靠重建，为个性化迅速反馈实验铺平了道路。

    Sep, 2023

  • 通过引导性随机搜索从人脑活动中重建已见图像

    利用条件生成扩散模型对大脑活动中的语义描述符进行可视化重建，有效改善了搜索策略，同时保持了低级图像细节的精细度和语义信息的一致性，并且发现该过程的收敛时间与视觉皮层的区域差异有关。

    Apr, 2023

  • Brain-Diffuser: 使用生成潜在扩散从 fMRI 信号中重建自然场景

    利用神经解码技术和新型图像生成的巨大进展，我们提出了一个两阶段场景重建框架（Brain-Diffuser），它能够从 fMRI 信号中推断出场景的低级特征和整体布局，随后通过潜在扩散模型生成最终重建的图像。该方法在公开数据集基准测试中表现出色，在应用（例如脑机接口）和基础神经科学方面都有深远的影响。

    Mar, 2023

  • 利用对比自监督和潜在扩散从脑活动解码现实图像

    我们提出了一个名为 CnD 的两阶段框架，通过自监督对比学习获取功能磁共振成像数据的表示，并利用这些编码的数据重建视觉刺激，从而实现了基于人脑活动的可行的图像重建方法。

    Sep, 2023

  • 脑优化推理改进功能磁共振成像的脑活动重建

    通过优化解码方法，将重构结果与脑活动一致性结合，通过迭代优化小样本图像库，我们证明了脑优化推理在改善重构质量和探索视觉脑区不同表征多样性方面的潜力。

    Dec, 2023

  • 自然视觉图像重建的脑启发解码器

    本文介绍一种基于深度学习的神经网络结构，通过脑电波等脑活动信号重构视觉图像，将感受野特性结合到损失函数中，有效地提高了视觉重构的精度和效果

    Jul, 2022

  • 脑部字幕：将人脑活动解码成图像和文本

    该研究采用 fMRI 技术和图像生成模型，提出了一种基于大脑神经活动解码为图像文字的方法，该方法包括图像重建流程和基于深度图的图像生成模型，实验证明其在神经科学方面具有广泛应用的潜力。

    May, 2023

  • 脑电波探幽者：从大脑活动中重构复杂图像

    本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。

    Sep, 2022

  • MindDiffuser：使用语义和结构扩散从人类大脑活动进行受控图像重建

    我们提出了一种名为 MindDiffuser 的两阶段图像重建模型，通过使用 fMRI 进行前向估计和反向传播来实现想定图像的语义和结构信息的精确对齐，实验结果表明该模型在自然场景数据集上超过了现有的最先进模型，并且与相应的大脑反应呈现的多模态特征解释力一致，从而证实其神经生物学的合理性。

    Aug, 2023