Sep, 2024

脑流：基于多模态引导的fMRI到图像重建

HTML
PDF
TL;DR本研究针对fMRI到图像重建任务中小物体细节缺失和语义模糊的问题，提出了一种基于多模态引导的重建框架Brain-Streams。该框架结合视觉和语义信息，利用现代生成模型（如潜在扩散模型）进行精确的图像重建，验证结果显示出优越的重建能力和应用潜力。
发现论文，激发创造
  • 脑电波探幽者：从大脑活动中重构复杂图像

    本文研究了如何通过结合fMRI神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉-语言潜在空间编码fMRI信号来解决数据稀缺的问题。

    Sep, 2022

  • 超越大脑：使用稀疏掩码建模的条件扩散模型进行视觉解码

    本文提出了一种使用双条件潜在扩散模型的 MinD-Vis：稀疏掩蔽脑建模方法，通过大型潜在空间中的掩蔽建模来学习 fMRI 数据的有效自我监督表示。实验证明，该方法在语义映射和生成质量方面都优于现有技术，并且只需很少的成对注释即可从脑记录中重建高度合理的图像。

    Nov, 2022

  • Brain-Diffuser:使用生成潜在扩散从fMRI信号中重建自然场景

    利用神经解码技术和新型图像生成的巨大进展，我们提出了一个两阶段场景重建框架（Brain-Diffuser），它能够从fMRI信号中推断出场景的低级特征和整体布局，随后通过潜在扩散模型生成最终重建的图像。该方法在公开数据集基准测试中表现出色，在应用（例如脑机接口）和基础神经科学方面都有深远的影响。

    Mar, 2023

  • MindDiffuser：基于语义和结构扩散的人脑活动控制图像重建

    本文提出了一种名为MindDiffuser的两阶段图像重构模型，利用了稳定扩散技术，成功地同时实现了语义和结构信息的重构，并在自然场景数据集方面的重建结果超过了当前最先进模型。

    Mar, 2023

  • 通过引导性随机搜索从人脑活动中重建已见图像

    利用条件生成扩散模型对大脑活动中的语义描述符进行可视化重建，有效改善了搜索策略，同时保持了低级图像细节的精细度和语义信息的一致性，并且发现该过程的收敛时间与视觉皮层的区域差异有关。

    Apr, 2023

  • 脑部字幕：将人脑活动解码成图像和文本

    该研究采用fMRI技术和图像生成模型，提出了一种基于大脑神经活动解码为图像文字的方法，该方法包括图像重建流程和基于深度图的图像生成模型，实验证明其在神经科学方面具有广泛应用的潜力。

    May, 2023

  • 重塑心智之眼: 对比学习和扩散先验的fMRI图像生成

    本文提出了一种名为MindEye的新型fMRI到图像转换方法，通过对比学习和扩散优先使用两个并行子模块来实现图像的检索和重建，将fMRI脑活动映射到高维多模态潜在空间，使用生成模型从该潜在空间接受嵌入以进行图片重建和精确检索。通过实验证明MindEye在重建和检索任务方面具有最先进的性能。

    May, 2023

  • Second Sight: 使用脑部优化的编码模型将图像分布与人类脑活动对齐

    提出了一种名为Second Sight的新型重建过程，该过程通过迭代方式显式最大化挑战任何目标图像所引起的脑活动模式的体素编码模型的预测与脑活动模式之间的对齐，从而在语义内容和低级图像细节方面不断改进损伤图像，解决了多种输入图像问题。

    Jun, 2023

  • 利用对比自监督和潜在扩散从脑活动解码现实图像

    我们提出了一个名为CnD的两阶段框架，通过自监督对比学习获取功能磁共振成像数据的表示，并利用这些编码的数据重建视觉刺激，从而实现了基于人脑活动的可行的图像重建方法。

    Sep, 2023

  • NeuralDiffuser: 基于主要视觉特征引导扩散的可控fMRI重建

    利用Latent Diffusion Models (LDM)从功能性磁共振成像（fMRI）中重建视觉刺激，NeuralDiffuser引入基于主要视觉特征的指导以提供细节线索，扩展LDM方法的自下而上过程，实现忠实的语义和细节，同时通过一种新颖的指导策略确保重复重构的一致性结果。在Natural Senses Dataset (NSD)上取得了NeuralDiffuser的最新性能，提供了更忠实的细节和一致的结果。

    Feb, 2024