AAAIDec, 2023

脑优化推理改进功能磁共振成像的脑活动重建

PDF
TL;DR通过优化解码方法，将重构结果与脑活动一致性结合，通过迭代优化小样本图像库，我们证明了脑优化推理在改善重构质量和探索视觉脑区不同表征多样性方面的潜力。
decoding methodsbrain activityreconstructionsimage distributionbrain-optimized inference
发现论文，激发创造
  • 通过引导性随机搜索从人脑活动中重建已见图像

    利用条件生成扩散模型对大脑活动中的语义描述符进行可视化重建，有效改善了搜索策略，同时保持了低级图像细节的精细度和语义信息的一致性，并且发现该过程的收敛时间与视觉皮层的区域差异有关。

    Apr, 2023

  • Second Sight: 使用脑部优化的编码模型将图像分布与人类脑活动对齐

    提出了一种名为 Second Sight 的新型重建过程，该过程通过迭代方式显式最大化挑战任何目标图像所引起的脑活动模式的体素编码模型的预测与脑活动模式之间的对齐，从而在语义内容和低级图像细节方面不断改进损伤图像，解决了多种输入图像问题。

    Jun, 2023

  • 利用多个解码输入通过潜在扩散模型改进从人脑活动中重建视觉图像

    通过深度学习和神经科学的整合，本研究使用多种不同的解码技术对视觉体验的再建进行了实验，证明了这些技术能够大大提高基线准确率。

    Jun, 2023

  • 脑解码：朝着实时重建视觉感知迈进

    通过基于高时间分辨率的 MEG 测量脑活动，利用生成型和基础型人工智能系统解码大脑活动，特别是通过功能性磁共振成像 (fMRI) 解码视觉感知，从而在实时应用方面取得了重大进展。

    Oct, 2023

  • 从脑活动中解码高分辨率图像的对比、关注和扩散

    介绍了一个两阶段的 fMRI 表示学习框架，通过在预处理阶段使用 Double-contrastive Mask Auto-encoder 降噪，并在第二阶段利用图像自动编码器的指导来调整特征学习者，以关注对于视觉重建最有信息的神经激活模式。使用这种优化后的 fMRI 特征学习者条件下的潜在扩散模型重构图像刺激，实验结果证明该模型在生成高分辨率和语义准确的图像方面的优越性，50 种不同目标的情境下，top-1 语义分类的准确率比先前最先进的方法提高了 39.34％。

    May, 2023

  • 脑部字幕：将人脑活动解码成图像和文本

    该研究采用 fMRI 技术和图像生成模型，提出了一种基于大脑神经活动解码为图像文字的方法，该方法包括图像重建流程和基于深度图的图像生成模型，实验证明其在神经科学方面具有广泛应用的潜力。

    May, 2023

  • 通过知识蒸馏和潜在扩散模型从脑电图解码视觉大脑表示

    本研究通过采用电脑脑波数据对 ImageNet 数据集中的图像进行分类和重建，提出了一种创新的方法。该研究不仅可以从神经活动中解码图像，还能仅利用脑电波数据生成图像的可靠重建，为个性化迅速反馈实验铺平了道路。

    Sep, 2023

  • Brain-Diffuser: 使用生成潜在扩散从 fMRI 信号中重建自然场景

    利用神经解码技术和新型图像生成的巨大进展，我们提出了一个两阶段场景重建框架（Brain-Diffuser），它能够从 fMRI 信号中推断出场景的低级特征和整体布局，随后通过潜在扩散模型生成最终重建的图像。该方法在公开数据集基准测试中表现出色，在应用（例如脑机接口）和基础神经科学方面都有深远的影响。

    Mar, 2023

  • MindDiffuser：基于语义和结构扩散的人脑活动控制图像重建

    本文提出了一种名为 MindDiffuser 的两阶段图像重构模型，利用了稳定扩散技术，成功地同时实现了语义和结构信息的重构，并在自然场景数据集方面的重建结果超过了当前最先进模型。

    Mar, 2023

  • 使用机器学习从人脑活动中解码通用视觉表示

    本研究评估了多种机器学习模型和相似度度量方法对于神经解码的视觉表征解码任务的影响，结果表明提出了更为先进和精确的方法，并为该解码任务提供了易于再现的基准。

    Nov, 2018